目录

摘要 1
Abstract 2
第1章绪论 3
1.1研究背景 3
1.2国内外研究现状 4
第2章相关理论技术 4
2.1PureMVC 4
2.2元数据理论 5
2.3Spark 5
第3章需求分析 5
3.1分析系统需求 6
3.2分析系统可行性 6
第4章系统设计 6
4.1系统架构规划 6
4.2程序设计思想与原则 7
4.3页面功能设计 7
4.4系统详细设计 8
第5章系统实现 10
5.1代码开发规范 10
5.2系统登录和首页 11
5.3输入模型管理 11
第6章结论 12
致谢 13
参考文献 14

摘要
随着经济的不断增长，我国各方面的水平也得到了很大的提升，特别是在生产方面的提升，我们的生产方式不在是以传统的生产方式为主，生产方式从传统的模式转变为自动生产为主，利用spark技术数据分析就是其中之一，而且对于这些数据的分析，被运用得越来越广泛。spark技术其实是一个数据分析的框架，利用spark技术，能够为我们减少一系列的麻烦，提高了我们的工作效率，利用spark技术，我们可以根据自己的需求，来设置我们所需要的数据进行分析，spark技术的设计主要有四个模块，分别是：数据源、输入模型、模型训练及校对和日志查看。本文通过对spark的实时交易数据平台设计进行分析，从spark的实时交易数据平台设计出发，针对设计spark的实时交易问题，得出了以下结论和参考意见。
关键词：生产方式；spark技术；数据分析；实时交易

Abstract
With the continuous growth of the economy, the level of various aspects of our country has been greatly improved, especially in production, our production mode is not the traditional production mode, production mode from the traditional mode to automatic production, using spark technology data analysis is one of them, and for the analysis of these data, is used more and more widely. The spark technology is actually a data analysis framework, using spark technology, can reduce a series of trouble, improve our work efficiency, using spark technology, we can set the required data analysis according to our needs, spark technology design mainly has four modules, respectively: data source, input model, model training and proofreading and log view. Through analyzing the design of the real-time trading data platform of spark, we draw the following conclusions and reference opinions based on the design of spark, and starting from the real-time trading data platform design of spark.
Key words: production mode; spark technology; data analysis; real-time trading

第1章绪论
spark技术通过数据分析，就会实现透明化，因为通过spark技术，对于客户来说就比较透明。随着经济的发展，我们在很多领域中也得到了提升，经济基础决定上层建筑，只有把经济发展好，我们才能在其它领域发展起来，而我们的生产方式也得到了改变，就比如说数据分析一样，最初的时候，我们对于数据分析都是利用记录的方式，通过人工来完成，而现在，数据分析是依靠智能化来完成的，就比如说，我们利用spark技术，对数据分析，就减少了很多环节，对于工作人员来说，也是比较快捷的，这样在工作效率方面就得到了很大的提升。当今时代，是一个大数据时代，对于大数据而言，数据分析对于我们来说，是非常重要的，因为大数据时代就相当于是信息时代，对于信息时代而言，就是各方面的信息都是利用网络来记录，就比如说我们把汽车开去审车完成之后，就会有电子档为我们记录审车信息，就不需要在进行把检查标准贴在车上。spark技术给我们带来了很多便利，减少了一些不必要的流程和麻烦。
1.1研究背景
在当今社会，经济水平不断提升，人类的生活水平也得到了提高，记得我国刚成立之初，只是为了解决温饱问题，而很多人还是吃不上饭，现在，我们却要以奔小康为主，说明了我们的生活水平得到了提升，而如今，由于经济发展，使得我们无论是在生产方面还是在科技方面，都得到了很大的提升。如今，我们在很多方面对于互联网的利用越来越大，很多数据分析都是通过计算机来完成的，而利用得很好的是weka系统，它是在java上开发出来的，通过这个工具，就能够为我们进行数据分析。
其中Hadoop的诞生就是为进行数据分析，而MapReduce引擎也是一样，也是为对数据进行分析，它们为数据分析提供了很好的条件。其中MapReduce一开始并不被人们接受，后来因为进入到互联网之后，才开始被人们接受，它其实是一种长时间运作的，而且比较容易扩展。
spark技术其实是为了补足MapReduce技术的，因为spark技术并没有MapReduce的一些缺点存在，它保持了容易扩展的优势，为数据分析提供了更有利的条件，对于数据分析，也是越来越快。
1.2国内外研究现状
对于spark技术，国内外的研究是不一样的，对于我国而言，由于我国的人口比较多，这样在很多时候，对于人口的统计就会有很多问题，我们需要的数据就会变得非常大，而我国的电商平台主要是淘宝，而淘宝每天的购买力都是非常庞大的，这样就会形成难以对数据进行统计和分析。每次双十一的时候，电商交易额都会做统计，而统计的这些数字是非常庞大的，而通过Pehtaho的Kettle进行数据分析，这样就会有很多功能，为我们带来很多方便，为我们在分析数据方面提供了有利条件。
而国外对于数据分析而言，起步是比较早的，尤其是美国，在1993年的时候，美国每年都会对数据挖掘技术进行研究和讨论，这个讨论会议被成为KDD。数据挖掘在国际上是被广泛使用的，被用于很多领域，比如说：医疗、金融、电信等方面，而且美国在汽车方面有全球最大的汽车互联网，因为美国不管是经济方面、科技方面还是生产技术方面，在世界上都是处于领先地位的。
第2章相关理论技术
spark技术其实是为了对数据分析，通过上述分析，我们了解到，通过spark技术，可以为我们解决很多东西，现在是信息时代，对于信息时代而言，数据分析就显得很重要。当今社会，全球人口越来越多，各种数据分析就非常重要。
2.1PureMVC
Web系统设计MVC是很重要的，PureMVC是分为层次的，其中被分为了模型层、视图层、最后就是控制层，它是由这三个层次组成，它的设计是非常模块化的。其中MVC模式是少不了Model、View、Com，它们是统一管理，管理方式是由一个单列类管理的，创建也是通过其他方面来实现的，主要是通过Facade实现的，之后就提供一系列的数据支持，然后为我们实现一些操作，比如说像启停和初始化等，都是通过它来完成的。
2.2元数据理论
对于元数据的理解，从广义上来说，它是用来定义数据的，主要是被用作数据分析，其实就是很多业务通过数据分析得出来的，就比如在我们推广广告的过程中，是需要对数据进行分析的，就比如说你每天投放的广告有多少展示，然后又有多少点击，然后转化是多少，这些都是非常重要的，如果说展示不高，那么问题是出自什么地方，如如果展示很高但是却没有点击，那么肯定是你的广告不够吸引人，如果点击很高，转化却很低，说明了广告活动并不吸引人，我们只有每天通过数据分析，才能总结出很多问题，针对问题，我们才能解决好问题所在，就像元数据一样。
2.3Spark
spark其实是一个针对解决大数据计算问题而设计的，它本身就没有延迟，很有效的解决了Mepreduce的问题，因为Mepreduce只能够做离线分析和反复访问的键盘问题。对于spark而言，它的概念就是RDD，RDD其实代表了多台机器上的集合，就像函数一样，它是有很多个区间一样，而每一个区间所代表的东西都是不一样的，spark除了这个概念，其实它还有一个概念。spark另一个概念为DAG有向无还图，它其实是描述RDD的依赖关系的，当我们输入A和B时，就会有两个RDD，输入之后，它就会进行转化，转化并不是每个都对应的，一个RDD可能会有多个结果。
第3章需求分析
基于spark其实就是一种数据分析，而近年来，数据分析对于我们而言，是非常重要的，我们生活中和工作中，对于数据分析就显得相当重要，就比如说我们在淘宝上购买的产品，就需要实时更新数据，更新包裹的地址，一般情况下，包裹每到一个地方，物流就会自动更新，让我们能够更方便的了解包裹的情况，其实什么时候到，什么时候发货，这些都是很重要，因为只有通过数据分析，我们才能够了解我们购买的东西，通过分析得出，我们的包裹是否需要退货，是否正常运转。基于spark技术的数据分析，对于我们来说，是不可缺少的，对我们生活中方方面面都是影响很大的。
3.1分析系统需求
基于spark的数据系统分析，它和其他数据分析系统是有很多差异的，很多人对于数据分析的理解，认为数据分析主要是输入、输出还有处理。基于spark的数据分析主要针对数据处理问题，数据处理问题并不只是单纯的数据处理，而是包括了比较传统的数据处理，其实有：过滤、转化和加载等方面，它还能够自行计算，数据分析中，对于数据计算问题也是非常有必要的。
3.2分析系统可行性
本次设计利用了Flash，利用Flash就能够实现浏览器的可扩展性，可能很多人都知道，Flash是基于RIA，而且它的相应速度比较快，在某些方面提高了客户的体验，所以这个设计在技术方面是可行的。对于客户而言，在感知方面是很好的，页面的风格比较一致，而且整体的设计是比较简单大方的，对于客户就会有很强的体验感，操作就比较可行。本设计，对于客户的管理，是很有意义的，因为客户在操作之后，就会留下相应的信息，管理是可行的。
第4章系统设计
基于spark对于数据分析是很重要的，设计过程中，系统设计就显得比较重要，就像一个软件的设计，前期对于系统设计，是非常重要的，首先要考虑到它的功能，需要实现的是什么，进入系统的画面，这些都是很重要的。
4.1系统架构规划
其实系统的设计就是为了完成数据分析，主要任务就是通过UI来实现的，系统架构如下图4.1所示：

图4.1：系统结构
通过架构，我们得出了本系统一共被分为两部分，有元数据系统和数据分析系统，它们各司其职。元数据系统主要完成的是把我们需要的元数据进行配置，数据分析系统就是分析数据，为我们处理一些数据。
4.2程序设计思想与原则
设计首先要做到简单大方，整体风格要保持一致。设计的思想方面，元数据要遵从客户，遵从它的使用习惯，对于前台来说，要利用到PureMVC，后台则要利用Service，还有就是Dao的结构，它的代码如下图所示：

图4.2：类图
4.3页面功能设计
本次设计的页面功能如下图所示：

图4.3：页面功能设计
4.4系统详细设计
元数据是本次系统设计的核心，它有很多子系统，这些子系统则是单独运行的，还有就是要有一些辅助功能。
系统设计中，是需要数据源管理的，除了数据源以为，还包括了输入模型管理等，具体设计如下图所示：

图4.4.1：数据处理功能图

图4.4.2：数据管理源模块

图4.4.3：输入模型管理模块

图4.4.4：模型训练流程

图4.4.5：模型训练与校验模块