java-springboot基于hadoop的工作流调度系统 基于Hadoop+SpringBoot的分布式工业车辆调度平台 SpringBoot与Hadoop融合的大数据作业流智能编计算机毕业设计
java-springboot基于hadoop的工作流调度系统70klkn3g计算机毕业设计(配套有源码 程序 mysql数据库 论文)
本套源码可以在文本联xi,先看具体系统功能演示视频领取,可分享源码参考。
工业场景里每天产生车辆轨迹、油耗、载重、维修记录等 TB 级数据,靠人工排班或单机调度软件已经玩不转。把 Hadoop 的分布式存储和并行计算能力与 SpringBoot 的快速开发优势揉在一起,就能让“海量数据+复杂流程”变成“自动编排+实时调度”。系统上线后,管理员在大屏上总览全局,员工手机端一键申请用车,后台在秒级完成资源匹配、路径优化、负载均衡,全过程可追踪、可回滚、可审计,彻底告别 Excel 与电话对讲机。
功能一览:
-
登录/注册、头像上传、密码找回、角色令牌
-
系统首页:可视化看板(车辆总数、品牌分布、月销量、总销量、省份热力图)
-
工业车辆管理:车辆信息录入、图片、价格、品牌、公司、月销量、总销量、省份、城市、数据爬取与一键同步
-
员工管理:账号、姓名、性别、手机、头像、批量导入
-
调度请求管理:需求标题、图片、价格、品牌、公司、调度数量、需求城市、请求时间、调度状态、审核流程、审核回复
-
车辆调度管理:调度单生成、调度时间、调度数量、需求城市、调度记录、执行轨迹、回写完成状态
-
我的信息:个人资料修改、密码更新、操作日志、消息提醒
-
可视化大屏:ECharts 实时图表、Spark Streaming 指标滚动、Hadoop HDFS 存储容量监控
-
数据爬取:Scrapy 分布式爬虫定时抓取互联网车辆行情并写入 HDFS
-
大数据离线分析:MapReduce/Spark 作业对历史调度数据做成本、效率、故障率多维分析
-
消息推送:WebSocket 即时通知调度结果、审核结果、异常报警
-
日志与审计:登录审计、接口耗时、任务失败重跑、操作追溯
-
权限与配置:菜单动态路由、角色授权、参数配置、定时任务、异常处理、统一网关
一句话归纳:把 Hadoop 的算力、SpringBoot 的业务敏捷、可视化的大屏体验打包成“调度神器”,让工业车辆像流水线上的零件一样被精准、高效、透明地编排。
注:以上是纯课题毕业设计功能介绍,并非实际开发完成,最终开发完成的毕业设计程序以下面的的环境软件、功能图和界面为准。
系统所需要的环境软件:idea、eclipse+mysql5.7、8.0+Navicat+JDK1.8+tomcat7.0
第3章 系统分析
本章主要从经济、技术和操作上对系统进行分析,由于本系统的特殊性,我们只需重点对技术和操作可行性进行分析,可以从一下几个方面进行分析。
3.1 系统可行性分析
3.1.1 经济可行性分析
由于开发本系统主要是为了测试自身的专业和设计能力,基本不考虑经济效益和后来的发展方向,只注重自身水平和设计能力的提高,并且对自身经济的要求也不高,只要有一台普通电脑就可以了,所以不需要考虑经济问题。
3.1.2 技术可行性分析
系统主要采用JAVA技术进行设计,系统基于B/S架构模式,有针对性地解决了架C/S构安装麻烦不便维护等一系列问题。因为本系统是采用MySQL数据库和B/S结构进行设计的一个小型网站,所以应用程序和数据库更是缺一不可,要想使用该程序,必须保证功能完整,操作简单且直观易懂的特点。数据库的建立,对整体的完整和数据安全两方面必须得到保证。我们可以采用JAVA进行优化,加密函数,建立密库,这样可以有效的阻止在传输数据信息的过程中不易出现泄密状况,可以提高安全等级。在加密的同时我们可以开启JAVA安全模式,针对一些被执行命令和可以被使用的函数进行限制来提高系统的安全性[3]。在早期,我已将JAVA的基本知识有了深度的理解,并对MySQL进行了解。对软件工程测试、UML等相关课程大概了解和学习过,通过掌握这些课程有了一定的系统开发、检验和辨别。采用JAVA以及MySQL结合起来开发该系统,必定是可行的并且是高效的。
3.1.3 操作可行性分析
系统的登录界面和业务逻辑简洁明了,采用一般的界面窗口来登录界面,整个系统更加人性化,用户操作更加简洁方便。本系统在操作和管理上比较容易,还具有很好的交互性等特点,在操作上是非常简单的[8]。因此,本系统可以进行设计开发。通过电脑进行访问操作,用户一定能够很快就会对系统熟悉,稍微简单了解下本系统,就能很快上手。
3.2 系统现状分析
由于系统开发出来后使用的人数众多,对于这些用户在管理上会给系统带来繁重的工作量。最后通过前期的调研总结出对现有管理状况分析如下:
(1)缺少统筹规划
系统管理中对标准化、安全性、整体性等方面不够完善,不可避免要投入大量的时间精力和人力去规划好网站后续发展,要实现统一规划就必须引入信息规范化管理后才能实行,本系统充分考虑用户的体验感,突出重点慢慢推进。
(2)业务逻辑繁琐
随着互联网技术越来越成熟,工作流调度系统不断更新迭代,现在许多工作流调度系统的界面和业务逻辑都太追求复杂和技术,往往忽略了用户体验,一个好的系统不在于它的功能是否新颖,它的逻辑代码是否复杂,而是在于它是否有一个简洁的界面和简单的业务逻辑,让用户操作起来更简单。
(3)内容定位模糊
除了系统体验之外,好的内容才是各网民最在意的,现在许多工作流调度系统是面向所有群体的,既然是面向所有的网民,那么各个网民想表达的想法也是层出不穷的,所以就会造成系统的文章内容是各式各样、参差不齐的,系统就没有自己的特点,没有内容特点也就没有了优势,所以系统的内容必须要有精确的定位。
设计本系统时考虑到开放性和兼容性上的问题,要在将来具备扩充的可行性。做到信息更新及时,能够解决系统信息更新迭代,增强用户的体验感。
对于以上陈述,对建设的目标要从实际工作中出发,具体表现如下:
一、系统集信息管理与测评为一体,信息及时更新,功能更强大;
三、系统内容定位精确;
四、系统业务逻辑简单易操作,通过详细论证来确定系统总体的需求。
3.3 系统用例分析
在设计系统的过程中,用例图是系统设计过程中必不可少的模型,用例图可以更为细致的,结合系统中人员的有关分配,能够从细节上描绘出系统中有关功能所完成的具体事件,确切的反映出某个操作以及它们相互之间的内部联系。
其中参与者就是和系统能够发生交互的外在实体,一般可以指系统的某个用户。一个用例图就能对应出系统中的一个功能过程,系统中完整的功能都是由许多不同的用例图所组成的。系统用例图如下所示:
(1)管理员可以对系统首页、工业车辆管理、员工管理、调度请求管理、车辆调度管理、我的信息等进行操作管理。其用例分析如图3-1所示。

图3-1管理员用例图
(2)员工可以对系统首页、工业车辆管理、调度请求管理、车辆调度管理、我的信息等进行基本的信息管理。员工用例分析如图3-2所示。

图3-2员工用例图
3.4 系统流程分析
流程图就是用它已经特定的图形符号以及相应的线条,用来展现出系统在执行中的整个的过程。由于这种图形能够很方便的描绘系统的一系列流程,所以它的所有的图形符号是比较关键的,基本都是一个图形符号就能表示某个过程的一个单独的步骤。流程图不只是提供出比较完整、全面的执行过程,而且在整个团队的协作设计过程中,还可以发现其中有可能存在的缺陷以及不足,便于在后续的过程中能够及时的纠正和完善系统。
通过流程图可以对系统的需求和相关过程进行分析,能够详细的细分到每个部分的设计。对于设计者来说在开发过程中能够使用流程图作为基础,可以快速提高自身的逻辑思想,并且还能在后续的操作中能够有章可循,在系统的设计中最重要的就是程序的设计,然后才是程序的具体编写,流程图便是在设计过程中重要的工具,以下就是部分流程图设计。
登录模块有许多规则,这些规则是用来限制用户权限的,没有登录账号的用户除了浏览文章之外不可以对网站进行操作,用户进入系统前要进行登录,登录成功后方可对相关权限的操作。登录流程如下所示。

图3-3系统登录流程图
用户可以添加信息,内容没有问题之后按下确定键就添加成功了。添加信息的流程图如图3-4所示:

图3-4添加信息流程图
用户可以选择把自己发布的信息删掉,选择要删除的文章确认之后,删除信息的操作就完成了。删除信息流程图如图3-5所示:

图3-5删除信息流程图
3.5 本章小结
本章主要是对系统进行分析,主要介绍了可行性分析、用例分析和流程分析等。
第4章 系统设计
4.1 系统功能结构设计图
本次系统所涉及到的有关的功能,都是用功能结构图来简洁和清晰的表示出来,功能结构图就是能够把比较复杂的功能结构用图的形式清晰的描绘下来,并且为后续的设计以及测试等模块提供了明确的方向,在构思功能结构图的时候,便可以给设计的过程带来一定的思维导向,不至于在设计过程中有所遗漏,可以尽可能的明确系统所涉及到的功能。系统的功能结构图如图4-1所示。

图4-1 系统功能结构图
4.2 架构设计
(1)可行性。系统的开发一定是在架构的设计基础上。
(2)可靠性。对企事业单位的管理来讲,系统的可靠性非常重要,所以对系统架构设计上就必须具备相当高的可靠性。
(3)安全行。由于大量的数据都是存储在数据库中,这些数据价值高,所以对系统数据库的安全性要特别重视。
(4)可扩展性。在原有的技术上增加一些功能,这样能够逐渐完善网站。
(5)可维护性。在可维护性方面体现在:一是跟踪现有的错误,二是导入新功能需求到系统上,以便减少运营成本。
(6)可升级性。系统能够进行更新迭代,使用户有更好的上网体验。
下面我们将根据架构设计原则和目标来建立系统的架构设计模型。将信息系统中对象分层,可分为三层:用户界面层、业务层、数据访问层(如下图4-2所示),再把各层中的一些公共部分提出来:权限管理、异常处理,这样得到包图如图4-3所示:

图4-2 系统体系架构图

图4-3 系统功能模块包图
4.3 系统架构类图
展开包图,得到类图,它是静态结构图的架构,使各个种类之间的关系,表达了静态联系。系统类图如下图4-4所示。

4.4 数据库设计
4.4.1 数据库E-R图
当前用户量最多的数据库是关系型数据库,属于面向对象系统设计。主要考虑的是怎样去对类映射到关系数据库的二维表上。目前可以采用数据库建模来实现。将“员工、车辆调度、调度请求、工业车辆”等作为实体,它们的局部E-R图,如图4-5所示:

图4-5局部E-R图
第5章 系统实现
5.1系统登录注册实现
在登录流程中,用户首先在Vue前端界面输入用户名和密码。这些信息通过HTTP请求发送到Java后端。后端接收请求,通过与MySQL数据库交互验证用户凭证。如果认证成功,后端返回给前端,允许用户访问系统。这个过程涵盖了从用户输入到系统验证和响应的全过程。系统登录界面图5-1所示:

图5-1系统登录界面
在注册流程中,用户在Vue前端填写必要信息(如用户名、密码等)并提交。前端将这些信息通过HTTP请求发送到Java后端。后端处理这些信息,检查用户名是否唯一,并将新用户数据存入MySQL数据库。完成后,后端向前端发送注册成功的确认,前端随后通知用户完成注册。这个过程实现了新用户的数据收集、验证和存储。注册页面如图5-2所示:

图5-2系统注册页面
5.2管理员功能实现
管理员进入主页面,主要功能包括对系统首页、工业车辆管理、员工管理、调度请求管理、车辆调度管理、我的信息等进行操作。管理员主页面如图5-3所示:

图5-3管理员主界面
工业车辆功能在视图层(view层)进行交互,比如点击“查询、删除或爬取数据”按钮或填写工业车辆表单。这些工业车辆表单动作被视图层捕获并作为请求发送给相应的控制器层(controller层)。控制器接收到这些请求后,调用服务层(service层)以执行相关的业务逻辑,例如验证输入数据的有效性和与数据库的交互。服务层处理完这些逻辑后,进一步与数据访问对象层(DAO层)交互,后者负责具体的数据操作如查看、调度请求、修改或删除工业车辆信息,并将操作结果返回给控制器。最终,控制器根据这些结果更新视图层,以便工业车辆功能可以看到最新的信息或相应的操作反馈。如图5-4所示:

图5-4工业车辆界面
员工功能在视图层(view层)进行交互,比如点击“查询、添加或删除”按钮或填写员工表单。这些员工表单动作被视图层捕获并作为请求发送给相应的控制器层(controller层)。控制器接收到这些请求后,调用服务层(service层)以执行相关的业务逻辑,例如验证输入数据的有效性和与数据库的交互。服务层处理完这些逻辑后,进一步与数据访问对象层(DAO层)交互,后者负责具体的数据操作如查看、修改或删除员工信息,并将操作结果返回给控制器。最终,控制器根据这些结果更新视图层,以便员工功能可以看到最新的信息或相应的操作反馈。如图5-5所示:

图5-5员工界面
调度请求功能在视图层(view层)进行交互,比如点击“查询、添加、删除或审核”按钮或填写调度请求表单。这些调度请求表单动作被视图层捕获并作为请求发送给相应的控制器层(controller层)。控制器接收到这些请求后,调用服务层(service层)以执行相关的业务逻辑,例如验证输入数据的有效性和与数据库的交互。服务层处理完这些逻辑后,进一步与数据访问对象层(DAO层)交互,后者负责具体的数据操作如查看、车辆调度或删除调度请求信息,并将操作结果返回给控制器。最终,控制器根据这些结果更新视图层,以便调度请求功能可以看到最新的信息或相应的操作反馈。如图5-6所示:

图5-6调度请求界面
车辆调度功能在视图层(view层)进行交互,比如点击“查询、添加、删除或审核”按钮或填写工业车辆表单。这些工业车辆表单动作被视图层捕获并作为请求发送给相应的控制器层(controller层)。控制器接收到这些请求后,调用服务层(service层)以执行相关的业务逻辑,例如验证输入数据的有效性和与数据库的交互。服务层处理完这些逻辑后,进一步与数据访问对象层(DAO层)交互,后者负责具体的数据操作如查看或删除车辆调度信息,并将操作结果返回给控制器。最终,控制器根据这些结果更新视图层,以便车辆调度功能可以看到最新的信息或相应的操作反馈。如图5-7所示:

图5-7车辆调度界面
管理员进行爬取数据后可以在看板页面查看到工业车辆总数、公司、品牌、汽车价格、月销量、总销量等实时的分析图进行可视化管理;看板大屏选择了Echart作为数据可视化工具,它是一个使用JavaScript实现的开源可视化库,能够无缝集成到Java Web应用中。Echart的强大之处在于其丰富的图表类型和高度的定制化能力,使得管理人员可以通过直观的图表清晰地把握工业车辆的各项运营数据。
为了实现对工业车辆信息的自动化收集和更新,我们采用了Apache Spark作为爬虫技术的基础。Spark的分布式计算能力使得系统能够高效地处理大规模数据,无论是从互联网上抓取最新的工业车辆信息,还是对内部数据进行ETL(提取、转换、加载)操作,都能够保证数据的实时性和准确性。
在大数据分析方面,系统采用了Hadoop框架。Hadoop是一个能够处理大数据集的分布式存储和计算平台,它的核心是HDFS(Hadoop Distributed File System)和MapReduce计算模型。通过Hadoop,我们可以对收集到的大量数据进行存储和分析。看板页面如图5-8所示:

图5-8看板详细页面
5.3员工功能实现
员工进入主页面,主要功能包括对系统首页、工业车辆管理、调度请求管理、车辆调度管理、我的信息等进行操作。员工主页面如图5-9所示:

图5-9员工主界面
工业车辆功能在视图层(view层)进行交互,比如点击“查询”按钮或填写工业车辆表单。这些工业车辆表单动作被视图层捕获并作为请求发送给相应的控制器层(controller层)。控制器接收到这些请求后,调用服务层(service层)以执行相关的业务逻辑,例如验证输入数据的有效性和与数据库的交互。服务层处理完这些逻辑后,进一步与数据访问对象层(DAO层)交互,后者负责具体的数据操作如查看或调度请求工业车辆信息,并将操作结果返回给控制器。最终,控制器根据这些结果更新视图层,以便工业车辆功能可以看到最新的信息或相应的操作反馈。如图5-10所示:

图5-10工业车辆界面
5.4本章小结
本章主要对系统的各大功能进行一个简单的阐述说明,给出各个功能模块实现截图。
源码无偿分享,文未领取
更多推荐



所有评论(0)