基于spark实时交易数据分析.docx

《基于spark实时交易数据分析.docx》由会员分享，可在线阅读，更多相关《基于spark实时交易数据分析.docx（13页珍藏版）》请在第一文库网上搜索。

1、目录摘要1Abstract2第1章绪论311研究背景31.2国内外研究现状4第2章相关理论技术42.1 PureMVC42.2 元数据理论52.35 park5第3章需求分析53.1 分析系统需求63.2 分析系统可行性63.3 系统设计64.1 系统架构规划64.2 程序设计思想与原则74.3 页面功能设计74.4 系统详细设计8第5章系统实现105.1 代码开发规范105.2 系统登录和首页115.3 输入模型管理11第6章结论12致谢错误!未定义书签。参考文献13摘要随着经济的不断增长，我国各方面的水平也得到了很大的提升，特别是在生产方面的提升，我们的生产方式不在是以传统的生产方式为主，

2、生产方式从传统的模式转变为自动生产为主，利用SPark技术数据分析就是其中之一，而且对于这些数据的分析,被运用得越来越广泛。SPark技术其实是一个数据分析的框架，利用SPark技术，能够为我们减少一系列的麻烦，提高了我们的工作效率，利用SPark技术,我们可以根据自己的需求,来设置我们所需要的数据进行分析，spark技术的设计主要有四个模块，分别是：数据源、输入模型、模型训练及校对和日志查看。本文通过对SPark的实时交易数据平台设计进行分析，从SPark的实时交易数据平台设计出发，针对设计SPark的实时交易问题，得出了以下结论和参考意见。关键词：生产方式；SPark技术；数据分析；实时交

3、易AbstractWiththecontinuousgrowthoftheeconomy,the1eve1ofvariousaspectsofourcountryhasbeengreat1yimproved,especia11yinproduction,ourproductionmodeisnotthetraditiona1productionmode,productionmodefromthetraditiona1modetoautomaticproduction,usingsparktechno1ogydataana1ysisisoneofthem,andfortheana1ysisoft

4、hesedata,isusedmoreandmorewide1y.Thesparktechno1ogyisactua11yadataana1ysisframework,usingsparktechno1ogy,canreduceaseriesoftroub1e,improveourworkefficiency,usingsparktechno1ogy,wecansettherequireddataana1ysisaccordingtoourneeds,sparktechno1ogydesignmain1yhasfourmodu1es,respective1y:datasource,inputm

5、ode1,mode1trainingandproofreadingand1ogview.Throughana1yzingthedesignoftherea1-timetradingdatap1atformofspark,wedrawthefo11owingconc1usionsandreferenceopinionsbasedonthedesignofspark,andstartingfromtherea1-timetradingdatap1atformdesignofspark.Keywords:productionmode;sparktechno1ogy;dataana1ysis;rea1

6、-timetrading第1章绪论SPark技术通过数据分析，就会实现透明化，因为通过SPark技术，对于客户来说就比较透明。随着经济的发展，我们在很多领域中也得到了提升，经济基础决定上层建筑，只有把经济发展好，我们才能在其它领域发展起来，而我们的生产方式也得到了改变，就比如说数据分析一样，最初的时候，我们对于数据分析都是利用记录的方式，通过人工来完成，而现在，数据分析是依靠智能化来完成的，就比如说，我们利用SPark技术，对数据分析，就减少了很多环节，对于工作人员来说，也是比较快捷的，这样在工作效率方面就得到了很大的提升。当今时代，是一个大数据时代，对于大数据而言，数据分析对于我们来说，是非

7、常重要的，因为大数据时代就相当于是信息时代，对于信息时代而言，就是各方面的信息都是利用网络来记录，就比如说我们把汽车开去审车完成之后，就会有电子档为我们记录审车信息，就不需要在进行把检查标准贴在车上。SPark技术给我们带来了很多便利，减少了一些不必要的流程和麻烦。11研究背景在当今社会，经济水平不断提升，人类的生活水平也得到了提高，记得我国刚成立之初，只是为了解决温饱问题，而很多人还是吃不上饭，现在，我们却要以奔小康为主，说明了我们的生活水平得到了提升，而如今，由于经济发展，使得我们无论是在生产方面还是在科技方面，都得到了很大的提升。如今，我们在很多方面对于互联网的利用越来越大，很多数据分析

8、都是通过计算机来完成的,而利用得很好的是Weka系统，它是在java上开发出来的，通过这个工具，就能够为我们进行数据分析。其中HadoOP的诞生就是为进行数据分析，而MaPRedUCe引擎也是一样，也是为对数据进行分析，它们为数据分析提供了很好的条件。其中MaPRedUCe一开始并不被人们接受，后来因为进入到互联网之后，才开始被人们接受，它其实是一种长时间运作的，而且比较容易扩展。SPark技术其实是为了补足MaPRedUCe技术的，因为SPark技术并没有MaPRedUCe的一些缺点存在，它保持了容易扩展的优势，为数据分析提供了更有利的条件，对于数据分析，也是越来越快。12国内外研究现状对于

9、SPark技术，国内外的研究是不一样的，对于我国而言，由于我国的人口比较多，这样在很多时候，对于人口的统计就会有很多问题，我们需要的数据就会变得非常大，而我国的电商平台主要是淘宝，而淘宝每天的购买力都是非常庞大的，这样就会形成难以对数据进行统计和分析。每次双十一的时候，电商交易额都会做统计，而统计的这些数字是非常庞大的，而通过PehtahO的KettIe进行数据分析，这样就会有很多功能，为我们带来很多方便，为我们在分析数据方面提供了有利条件。而国外对于数据分析而言,起步是比较早的,尤其是美国，在1993年的时候，美国每年都会对数据挖掘技术进行研究和讨论，这个讨论会议被成为KDD。数据挖掘在国际

10、上是被广泛使用的，被用于很多领域，比如说：医疗、金融、电信等方面,而且美国在汽车方面有全球最大的汽车互联网，因为美国不管是经济方面、科技方面还是生产技术方面，在世界上都是处于领先地位的。第2章相关理论技术SPark技术其实是为了对数据分析，通过上述分析，我们了解到，通过SPark技术，可以为我们解决很多东西，现在是信息时代，对于信息时代而言，数据分析就显得很重要。当今社会，全球人口越来越多，各种数据分析就非常重要。2PureMVCWeb系统设计MVC是很重要的,PUreMVC是分为层次的,其中被分为了模型层、视图层、最后就是控制层，它是由这三个层次组成，它的设计是非常模块化的。其中MVC模式是

11、少不了MOde1、View、Com,它们是统一管理，管理方式是由一个单列类管理的，创建也是通过其他方面来实现的，主要是通过FaCade实现的，之后就提供一系列的数据支持，然后为我们实现一些操作，比如说像启停和初始化等，都是通过它来完成的。2.2元数据理论对于元数据的理解，从广义上来说，它是用来定义数据的，主要是被用作数据分析，其实就是很多业务通过数据分析得出来的，就比如在我们推广广告的过程中，是需要对数据进行分析的，就比如说你每天投放的广告有多少展示，然后又有多少点击，然后转化是多少，这些都是非常重要的，如果说展示不高，那么问题是出自什么地方，如如果展示很高但是却没有点击，那么肯定是你的广告不

12、够吸引人，如果点击很高，转化却很低，说明了广告活动并不吸引人，我们只有每天通过数据分析,才能总结出很多问题,针对问题,我们才能解决好问题所在，就像元数据一样。23SparkSPark其实是一个针对解决大数据计算问题而设计的，它本身就没有延迟，很有效的解决了MePredUCe的问题，因为MePredUCe只能够做离线分析和反复访问的键盘问题。对于SPark而言，它的概念就是RDD,RDD其实代表了多台机器上的集合，就像函数一样，它是有很多个区间一样，而每一个区间所代表的东西都是不一样的，SPark除了这个概念，其实它还有一个概念。SPark另一个概念为DAG有向无还图，它其实是描述RDD的依赖关

13、系的，当我们输入A和B时，就会有两个RDD,输入之后，它就会进行转化，转化并不是每个都对应的，一个RDD可能会有多个结果。第3章需求分析基于SPark其实就是一种数据分析，而近年来，数据分析对于我们而言，是非常重要的，我们生活中和工作中，对于数据分析就显得相当重要，就比如说我们在淘宝上购买的产品，就需要实时更新数据，更新包裹的地址，一般情况下,包裹每到一个地方，物流就会自动更新，让我们能够更方便的了解包裹的情况,其实什么时候到，什么时候发货，这些都是很重要，因为只有通过数据分析，我们才能够了解我们购买的东西，通过分析得出，我们的包裹是否需要退货，是否正常运转。基于SPark技术的数据分析，对于

14、我们来说，是不可缺少的，对我们生活中方方面面都是影响很大的。3.1 分析系统需求基于SPark的数据系统分析，它和其他数据分析系统是有很多差异的，很多人对于数据分析的理解，认为数据分析主要是输入、输出还有处理。基于SPark的数据分析主要针对数据处理问题，数据处理问题并不只是单纯的数据处理，而是包括了比较传统的数据处理，其实有：过滤、转化和加载等方面，它还能够自行计算，数据分析中，对于数据计算问题也是非常有必要的。3.2 分析系统可行性本次设计利用了FIaSh,利用FIaSh就能够实现浏览器的可扩展性，可能很多人都知道，F1ash是基于RIA,而且它的相应速度比较快，在某些方面提高了客户的体验

15、，所以这个设计在技术方面是可行的。对于客户而言，在感知方面是很好的，页面的风格比较一致，而且整体的设计是比较简单大方的，对于客户就会有很强的体验感，操作就比较可行。本设计，对于客户的管理，是很有意义的，因为客户在操作之后，就会留下相应的信息，管理是可行的。第4章系统设计基于SPark对于数据分析是很重要的，设计过程中，系统设计就显得比较重要，就像一个软件的设计，前期对于系统设计，是非常重要的，首先要考虑到它的功能，需要实现的是什么，进入系统的画面，这些都是很重要的。4.1 系统架构规划其实系统的设计就是为了完成数据分析，主要任务就是通过U1来实现的，系统架构如下图4.1所示：图4.1：系统结构

16、通过架构，我们得出了本系统一共被分为两部分，有元数据系统和数据分析系统，它们各司其职。元数据系统主要完成的是把我们需要的元数据进行配置,数据分析系统就是分析数据，为我们处理一些数据。4.2 程序设计思想与原则设计首先要做到简单大方，整体风格要保持一致。设计的思想方面，元数据要遵从客户，遵从它的使用习惯，对于前台来说，要利用到PUreMVC,后台则要利用SerViCe,还有就是DaO的结构，它的代码如下图所示：图4.2：类图4.3 页面功能设计本次设计的页面功能如下图所示:图4.3：页面功能设计44系统详细设计元数据是本次系统设计的核心，它有很多子系统，这些子系统则是单独运行的，还有就是要有一些辅助功能。系统设计中，是需要数据源管理的，除了数据源以为，还包