湄洲湾职业技术学院大数据产教融合实训平台产品技术参数.docx

《湄洲湾职业技术学院大数据产教融合实训平台产品技术参数.docx》由会员分享，可在线阅读，更多相关《湄洲湾职业技术学院大数据产教融合实训平台产品技术参数.docx（10页珍藏版）》请在第一文库网上搜索。

1、湄洲湾职业技术学院大数据产教融合实训平台产品技术参数项目分类货物名称技术参数要求单位数量大数据云实验平台云实验平台（一）开发技术1 .系统基于JavaEE标准，使用spring技术栈开发。2 .前端展示使用Bootstrap框架提供良好的响应式布局能力。3 .使用RabbitMQ进行业务解耦，提高系统吞吐量。4 .使用MySqI5.6存储数据，保证数据的安全，可靠。5 .实验环境使用Docker作为不同实验环境的技术支撑。（二）功能要求一、云环境管理1.B/S架构：采用B/S架构，兼容谷歌Chrome、火狐等支持HTM15技术的现代浏览器。支持平台用户使用Web页面（B/S架构）方式访问容器桌

2、面。2 .容器化实验环境：支持基于DoCker的容器化实验环境，提供轻量级、快速响应的实验环境，满足基于1inUX操作系统的实验。3 .裸机配置管理：支持配置容器化服务器的CPU、内存等资源使用率限制。4 .网络配置管理：支持IP地址段配置，可查看具体IP地址的占用状态。5 .图形化资源监控:提供图形化的云实验室平台资源监控页面，包括服务器数量、CPU、内存、存储等资源的使用情况。6 .服务器监控:提供服务器监控功能，以图表的形式展示每台服务器的IP地址、状态、CPU使用情况、内存使用情况。7 .Docker管理：提供DoCker管理功能，可查看D。Cker主机状态；镜像的查看、检索、删除操作

3、；容器查看、检索、删除。8 .系统资源回收：系统后台自动监控符合回收条件的容器化环境，释放IP地址，减轻服务器负载。回收条件包括：已过期的实验环境、教师定制实验环境时产生的容器、已过期的学生申请的实验环境。9 .日志管理：支持服务器异常日志的查询、检索、删除。有效帮助管理员快速定位系统问题。二、教学管理1 .实验环境管理：系统支持三种实验环境的分类管理，由系统预置的基础实验环境、教师基于基础实验环境自定义的在线定制实验环境、学生基于基础实验环境申请的预约实验环境组成。2 .在线定制实验环境：教师基于基础实验环境自定义，定义后的实验环境同基础实验环境一样，可以用于学生实验使用。3 .预约实验环境

4、：学生基于课程相关实验环境申请预约。由学生发起申请，经由管理员、教师审批通过，设置可使用时长后，供学生使用。套14 .课程管理：支持管理员/教师开课及创建新课。支持对系统内的课程进行管理、检索、分类。支持对课程进行创建、修改、删除。支持在课程下依据实验模板关联实验，配置实验课相关信息。5 .实验模板管理：支持管理员为课程配置实验模板，可设置相关的实验文档、配置多个实验环境、实验报告。6 .多种实验环境分配：支持至少3种实验环境分配机制，应对不同类型的实验。实验环境分配的最小粒度为用户组,按组分配的实验环境属于组内所有成员共有的实验资源。支持控制每一个实验环境的CPU、内存资源的限额。支持为每一

5、个实验环境配置不同的实验界面,至少支持SSH界面、VNC图形界面、C1oudIDE界面以及Notebook界面中的三种。7 .实验报告模板管理：支持在线编写或者上传WOrd、exce1等格式文件作为实验报告模板管关联至实验供学生使用。8 .班级和授权管理：支持单独或成批方式进行班级信息的添加和导入。为学生分配班级，从而建立教师与课程和授课班级的关系。9 .软件资源库管理：支持上传实验资源如软件安装包等至软件资源库，学生可以在实验环境中下载使用。10 .课堂答疑：支持学生与教师基于课堂答疑功能进行互动，留存记录。11 .批阅实验报告：教师可以查看学生提交的实验报告并进行打分，下载留存。三、实验管

6、理1 .实验情况统计：支持教师可以教学数据的统计汇总、查看运行中的实验以及各个用户组实验环境启动情况。2 .远程协助：支持教师通过浏览器直接进入学生的实验环境界面，远程协助学生解决问题，实时查看学生实验情况。3 .管理实验资源：支持教师一键下课，关闭所有学生的实验环境，支持教师关闭课程，释放所有的实验资源、IP地址。4 .课程连续性管理：教师可以创建不同类型的课程；连续性课程：在课程有效时间内，学生的实验环境（含操作）将一直被保存，并且可以保存至少两个实验的回滚节点；在当前实验课时结束时，实验坏境会记录最后实验状态并保存到硬盘，释放此实验所占用的全部计算资源；保存的实验环境不会被删除，当下一课

7、时被开启时，系统会自动开启之前的实验环境，保证课程的连续性。非连续性课程：此课程下的所有实验的实验环境，每次结束实验课后会被销毁，节省资源。5 .限定实验时间：支持实验环境在指定时间内使用，超出时间回收实验环境，中途可以进行延时操作。6 .实验环境连接切换：支持多实验环境的场景，在同页面下可以进行切换实验环境连接。7 .实验界面切换：支持多实验界面的场景，在同页面下可以进行切换实验界面连接。8 .实验页面可拖动：支持实验页面内拖动，调整实验文档、实验操作部分页面占比。9 .剪切板功能：支持基于剪切板功能，进行学生本地机器与实验环境剪切板通信。10 .代码下载：支持学生下载实验环境内代码至本地机

8、器。I1实验环境生命周期管理：支持学生对实验环境的生命周期管理：初始化、保存回滚点、回滚、关闭等操作。12 .查看实验记录：支持查看实验上机记录。13 .填写实验报告：支持根据指定的实验报告模板提交实验报告。四、用户管理1 .用户与角色管理：平台提供了不同的角色与权限，包括资源管理员、授课教师、学生三种角色。其中，资源管理员可以管理资源池、为整个平台建立用户及分配权限，查看整体资源分配情况；授课教师可以对授课进行管理、分配授课时间等：学生可以参加已被分配的在线课程、申请自定义实验环境、进行在线实验、记录实验报告、查看实验结果等。2 .用户组管理：支持用户组的管理，实现逻辑单元的用户管理。实验课

9、授权的最小粒度即为用户组。3 .用户单点登录：平台支持基于CAS协议的单点登录功能，进行用户的统一身份认证。可以快速接入学校已存在的用户体系。（三）实施安装供货方应提供详细的系统设计方案和实施文档。完成软件的安装调试工作，负责解决系统集成中的相关技术问题。（四）技术培训供货方在项目实施完毕后在用户指定地点对使用用户及网管人员组织现场培训，时间不低于1天，使用能够掌握所提供产品的操作与基本维护；提供对产品的长期保修、维护、技术支持服务。（五）售后服务在服务及保修期内，提供产品7*8小时的电话技术服务，根据实际情况提供远程技术支持服务；如遇系统出现故障，需要现场服务时，供货方专业技术人员根据目的地

10、远近在48小时内到达现场服务。大数据云实验平台（项目资源包）Hadoop1 .项目需求通过此实验可以识记1inux基本命令，识记SSH免密登录的原理以及进行SSH免密登录的原因，理解HadOoP集群的工作原理，运用SSH工具进行集群中各个主机的免密登录配置，运用Hadoop集群安装软件进行集群的安装与配置。2 .项目内容搭建由4个节点组成的一个Hadoop分布式集群，在一个主节点上部署NameNode服务，在三个子节点上分别部署DataNode服务，启动或关闭整个集群，在客户端运行基于集群部署的实例程序。3 .资源参数（1）实验手册1个（2）配套实验1个套1HDFS1.项目需求实验的目的是帮助

11、学员了解HDFS设计思想、基本概念，了解套1HDFS体系结构及数据存储策略，掌握HDFS工作原理，熟练完成HDFS程序的编写，熟悉HDFSShe11接口，掌握小文件处理。2 .项目内容HDFS实验手册一基础理论、HDFS实验手册一HDFSShe11、Hdfs实验手册一上传文件、HDFS实验手册一读写文件内容、HDFS实验手册一hdfs维护、HDFS实验手册一小文件处理3 .资源参数（1）实验手册6个（2）配套实验6个MapReduce课程1 .项目需求实验的目的是帮助学员了解MaPredUCe设计思想、掌握Mapreduce框架的执行过程、能够独立完成Mapreduce程序的编写、掌握MaPr

12、edUCeCombiner%数据去重、排序、TOPK等方法。2 .项目内容MapReduce实验手册一MapReduce理论基础、MaPRedUCe实验手册一词频统计、MaPRedUCe实验手册一CombinerMapReduce实验手册一数据排序、MaPRedUCe实验手册-两数据集比较、MaPRedUCe实验手册一数据去重、MaPRedUCe实验手册一TOPK、MaPRedUCe实验手册一倒排索引MapReduce实验手册一MapReduce连接。3 .资源参数（1）实验手册9个（2）配套实验9个套1Hive基础教学和实践1 .项目需求实验的目的是帮助学员了解Hive的作用、工作原理、工作

13、场景，掌握HiVe数据仓库的HQ1使用方法。2 .项目内容Hive数据仓库一hive理论基础、Hive数据仓库一Hive安装配置、Hive数据仓库-hive数据定义、Hive数据仓库一Hive数据操作、HiVe数据仓库一用户自定义函数、HiVe数据仓库一用户行为分析。3 .资源参数（1）实验手册6个（2）配套实验6个套1Kafka消息队列1 .项目需求实验的目的是帮助学员了解kafka消息队列的作用及工作原理，掌握kafka单节点及集群的安装配置，能够深入了解kafka中Producers、brokerconsumertoicPartition、message等各个组件，能够使用kafka进行

14、消息的发布与订阅，能够进行kafka的Java编程。2 .项目内容完成单节点-单代理配置、完成单节点-多代理配置、完成多节点-多代理集群配置、完成主题操作、使用Java客户端发布、使用消息、完成kafka+f1ume+hdfs实时日志流系统实验。3 .资源参数套1(1)实验手册1个(2)配套实验1个Sca1a类实验包1 .项目需求实验的目的是能够使学员了解Sca1a基础知识、能够搭建sca1a开发环境、掌握SCa1a数据类型和变量、控制和循环语句、字符串与数组、函数与异常、SCaIa集合、类和对象、文件操作，为后续的Spark学习打下坚实的基础。2 .项目内容Sca1a环境配置、Sca1a基础

15、语法、Sca1a字符串与数组、Sca1a函数、SCa1a集合、SCa1a类和对象、SCa1a文件操作。3 .资源参数(1)实验手册7个(2)配套实验7个套1Spark计算框架1 .项目需求实验的目的是帮助学员掌握SparkRDD的特性、编译和运行SPark技术应用程序、理解SPark内核架构、运行原理等内容,为编写Spark应用程序提供所需要的知识和技能。2 .项目内容Spark理论基础、Spark安装部署、Spark编程基础、SparkSQ1基础、SparkSQ1多种数据源的处理、SparkStreaming基础。3 .资源参数(1)实验手册6个(2)配套实验6个套1数据库1 .项目需求通过此实验的学习使学员能够独立地安装及创建数据库，掌握常用的函数及SQ1语句，包括表结构的设计及数据的增删改查操作、各种查询操作、内置函数、触发器等。2 .项目内容数据库实验手册-MySQ1安装配置、数据库实验手册-数据库和数据表管理、数据库实验手册-用户和权限管理、数据库实验手册-简单查询、数据库实验手册-条件查询和排序、数据库实验手册-统计查询、