Hadoop大数据分析课程标准.docx

《Hadoop大数据分析课程标准.docx》由会员分享，可在线阅读，更多相关《Hadoop大数据分析课程标准.docx（6页珍藏版）》请在第一文库网上搜索。

1、Hadoop大数据分析课程标准一、课程概况课程名称Hadoop大数据分析课程代码20116002适用专业信息与计算科学开课学期第6学期课程性质专业任选课程学时/学分51/2预修课程Oava高级编程Python语言程序设计二、课程目标课程目标1：认识Hadp,并了解HadooP的核心组件、生态系统与应用场景。掌握安装及配置虚拟机，掌握安装JDK,学会搭建HadOoP完全分布式集群。课程目标2:学会查看HadOoP集群的基本信息，掌握HDFS的原理和基础操作，掌握MaPRedUCe原理架构、M叩RedUCe程序的编写，能够编写M叩RedUCe程序来处理简单任务。课程目标3：掌握MapReduce框

2、架中的进阶应用，包括自定义键值对、Combiner.Partitioner等，了解KNN算法与案例需求，通过MapReduce实现数据预处理以及KNN算法。三、课程目标与毕业要求的关系1、课程目标与毕业要求的对应关系毕业要求指标点课程目标3.软件开发3.1具有熟练的计算机算法设计与软件开发能力，能够熟练掌握高级程序设计语言的语法,并设计适当的数据结构和算法，编程解决实际问题。课程目标1课程目标24.数据分析4.3具有一定的大数据处理能力，能够在大数据中挖掘有用信息。课程目标2课程目标35.外语体育5.2掌握资料查询、文献检索以及运用现代化技术获取相关信息的基本方法。课程目标32、课程目彳乐与毕

3、业要求的矩阵关系图思想政治数学基础软件开发数据分析外语体育人文发展1.11.21.32.12.22.33.13.23.34.14.24.35.15.25.36.16.26.3课程目标1M课程目标2MH课程目标3HM注：H表示高支撑，M表示中支撑，1表示低支撑。四、课程教学要求与重难点序号课程内容框架教学要求教学重点教学难点1Hadoop介绍了解Hadoop的概念和特点；了解Hadoop的三大核心组件；了解Hadoop的生态系统；7解Hadoop的应用场景CHadoop的特点；Hadoop核心组件HDFS和MapReduce0Hadoop的分布式思想,MapReduce分布式计算框架的运行流程；

4、YARN资源管理器的运行原理。2Hadoop集群的搭建及配置掌握安装配置虚拟机；掌握如何在本地和1inux虚拟机中安装JDK；掌握搭建Hadoop完全分布式集群环境C设置固定IP的方法；Hadoop集群的安装和配置；Hadoop集群的启动和关闭方法。Hadoop集群的安装和配置。3Hadoop集群基础操作掌握查看存储系统的基本信息；掌握查看Hadoop集群的计算资源；掌握HDFS文件系统的基本操作；掌握以hadoopjar方式提交MapReduce任务；能够管理MapReduce多任务。HDFS文件系统操作方法；如何提交MapReduce任务。HDFS基础操作；提交和中断MapReduce任务

5、。4MapReduce入门编程掌握如何搭建MapReduce开发环境；掌握以Ec1ipse创建MapReduce工程；理解MapReduce的基本原理及执行流程；读懂Hadoop官方示例WordCount的源码；掌握MapReduce编程的基本思路；理解map函数与MapReduce处理逻辑和编程；MapReduce程序打包和运行。MapReduce框架的运行流程Z-MapReduce程序的编程逻辑。reduce函数的处理逻辑；能够编写MapReduce程序处理简单任务。5MapReduce进阶编程掌握HadoopJavaAPI的使用；理解Combiner的工作原理；掌握使用Combiner对

6、MapReduce工作流程进行优化；了解Hadoop内置数据类型；掌握编写和使用自定义数据类型；掌握编写和使用Partitioner设置分区；掌握MapReduce参数传递方式；学会使用TooIRunner提交MapReduce任务；掌握使用Ec1ipse提交MapReduce任务。自定义键值对；Combiner和Partitioner的原理和编程,参数传递的方式。自定义键值对类型的方式；Combiner与Partitioner的应用场景和编程逻辑。6项目案例：电影网站用户性别预测理解KNN算法的原理；掌握以MapReduce编程实现KNN算法；掌握以MapReduce编程实现KNN分类器评价

7、。MapReduce实现数据预处理；MapReduce实现KNN算法。MapReduce实现KNN算法的处理逻辑；MapReduce实现分类结果评价；MapReduce实现模型。五、课程教学内容、教学方式、学时分配及对课程目标的支撑情况序号课程内容框架教学内容教学方式学时支撑课程目标1Hadoop介绍1. Hadoop的发展历史2. Hadoop的特点3. Hadoop的核心组件4. Hadoop的生态系统5. Hadoop的应用场景讲授、PPT辅助、课堂讨论、实验4课程目标12Hadoop集群的搭建及配置1 .设置固定IP的方法2 .设置远程连接虚拟机3 .1inux在线安装软件的方法4 .

8、在Window和1inux下安装Java讲授、PPT辅助、课堂讨论、实验12课程目标15 .了解Hadoop集群相关配置文件6 .SSH免密码登录配置7 .时间同步服务配置8 .启动关闭Hadoop集群以及查看Hadoop集群监控3Hadoop集群基础操作1 .解HDFS的操作方法2 .MapReduce任务的运行和中断方法3 .集群监控的查看方法讲授、PPT辅助、课堂讨论、实验6课程目标24MapReduce入门编程1. Ec1ipse安装2. MapReduce原理3. MapReduce的编程逻辑讲授、PPT辅助、课堂讨论、实验9课程目标25M叩RedUCe进阶编程1. MapReduc

9、e的输入及输出格式2. HadoopJavaAPI使用方法3. 自定义键值对方法4. Combiner及Partitioner的原理与编程5. 在Ec1ipse中提交MaPRedUCe任务的方法讲授、PPT辅助、课堂讨论、实验12课程目标36项目案例：电影网站用户性别预测1 .KNN算法原理与实现步骤2 .案例要求与任务3 .MapReduce编程逻辑4 .分类算法的评价指标讲授、PPT辅助、课堂讨论、实验8课程目标3六、课程目标与考核内容课程目标考核内容评价依据课程目标1：认识Hadoop1并了解Hadoop的核心组件、生态系统与应用场景。掌握安装及配置虚拟机，掌握安装JDK,学会搭建Had

10、OoP完全分布式集群。（支撑毕业要求指标点3.1）了解Hadoop的特点，Hadoop的核心组件，Hadoop的生态系统，Hadoop的应用场景。会安装虚拟机，设置固定IP的方法，设置远程连接虚拟机1inUX在线安装软件的方法,在WindoW和1inUX下安装Javao了解Hadoop集群相关配置文件，SSH免密码登录配置，时间同步服务配置，启动关闭Hadoop集群以及查看Hadoop集群监控。课堂表现；平时作业；平时测验；期末考试。课程目标2:学会查看Hadoop集群的基本信息，掌握HDFS的原理和基础操作，掌握MapReduce原理架构、MapReduce程序的编写，能够编写MapRedu

11、ce程序来处理简单任务。（支撑毕业要求指标点3.1,4.3）了解HDFS的操作方法，MapReduce任务的运行和中断方法，集群监控的查看方法。会Ec1ipse安装，MapReduce开发环境的搭建。了解M叩RedUCe原理和运行流程，理解MapReduce的编程逻辑。课堂表现；平时作业；平时测验；期末考试。课程目标3:掌握MapReduce框架中的进阶应用，包括自定义键值对、CombinerPartitioner了解KNN算法与案例需求,通过MapReduce实现数据预处理以及KNN算法。（支撑毕业要求指标点435.2）掌握MapReduce的输入及输出格式，HadoopJavaAPI使用方

12、法，自定义键值对方法。理解并掌握Combiner及Partitioner的原理与编程，掌握在Ec1ipse中提交MapReduce任务的方法。理解KNN算法原理，MapReduce编程逻辑，分类算法的评价指标。课堂表现；平时作业；平时测验；期末考试。七、考核方式与评价细则考核方式比例考核/评价细则课堂表现10%评价标准：根据学生上课出勤情况和课堂讨论，回答问题等情况。基础分90分；旷课一次扣10分，迟到、早退、事假一次扣5分；有效参与讨论并正确回答问题一次加5分，最高IOO分。作业20%评价标准：根据学生提交的实验报告和作业情况。一学期一个学生大约上交10次左右作业。如果作业给出A、B、C、D

13、等级，则全部为A计IOO分；两次及以上为A计90分；一次为A计85分；三次及以上为D计60分；其他80分。如果给出百分制的分值，则计为平均分。在此标准下，少交一次作业扣5分。平时测验10%评价标准:1-2次阶段性检测成绩；如果是2次阶段性测试，则每次成绩各占百分之五十）期末考试60%评价标准：严格按照Had。P大数据分析期末试题参考答案及评分细则进行阅卷。综合成绩100%课堂表现（10%）+作业（20%）+平时测验（10%）+期末考试（60%）八、课程目标达成度评价参考数学学院课程目标达成度评价方法进行评价。九、本课程各个课程目标的权重依据第八部分中的课程目标达成度评价方法，计算得到本课程的各

14、个课程目标的权重如下：课程目标课程目标-1课程目标2课程目标3权值Wi0.160.420.42十、持续改进根据学生的课堂表现、作业、平时测验和期末考试情况及教学督导的反馈，检验学生对本课程涉及的学科素养和学会反思的达成情况，及时对教学中的不足之处进行改进，调整教学指导策略；根据学生的课堂表现、作业、平时测验及期末考试成绩，检验本课程所支撑的毕业要求分解指标点的达成度情况;根据本课程所支撑的毕业要求分解指标点的达成度情况，在本学院教学指导委员会指导下，重新修订本课程大纲，实现持续改进。十一、推荐教材及弁考书目1教材1 .余明辉，张良均Hadoop大数据开发基础M.北京：人民邮电出版社.2018.2 .参考书目2 .张良均，樊哲，位文超，刘名军.Hadoop与大数据挖掘M北京：机械工业出版社.2015.3 .张良均，樊哲，赵云龙，李成华Hadoop大数据分析与挖掘实战M.北京：机械工业出版社.2015.