Hadoop技术与应用 教案 第1--8讲 开学第一课&Hadoop生态系统和体系架构---部署ZooKeeper集群和ZooKeeper实战.docx

课序授课日期授课班次授课教师批准人1课程描述Hadoop技术与应用是计算机科学与技术、数据科学与大数据技术等专业的一门专业核心课程。该课程着重讲述HadooP大数据技术的知识体系，阐明其基本原理，引导学生进行初级实践和了解相关应用，培养学生运用大数据平台搭建、数据采集与迁移、大数据存储与管理、大数据处理与分析等方法和技术工具完成大数据应用的能力，在整个大数据课程体系中起着承前启后重要作用。该课程由理论教学和实验教学两个部分组成O先修课程包括Java语言程序设计、Python语言程序设计、SCaIa语言程序设计、1inUX操作系统、数据库原理，后续课程包括机器学习、Spark大数据开发技术、F1ink大数据开发技术、数据可视化技术。总学时理论教学实践教学周学时学分482820单4双23课程教学目标Had。P技术与应用围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想，着重讲述Hadoop大数据技术的基本原理、基本方法、技术工具和相关应用，帮助学生构建完整的大数据技术知识体系，使学生了解大数据技术在行业领域中的最新发展趋势和前沿知识，熟悉大数据应用的整个生命周期，能够熟练使用Hadoop大数据平台及其生态系统中的技术工具完成基本的大数据应用闭环操作，达到知行合一、以用促学的目的。知识目标：1 .理解大数据处理平台HadOOP的生态系统和体系架构，熟练掌握在1inUX环境下部署全分布模式Hadoop集群；2 .理解分布式文件系统HDFS的体系架构、文件存储机制和数据读写过程，熟练掌握通过HDFSWebU1HDFSShe11HDFSJavaAPI三大接口实现HDFS文件的操作和管理；3 .理解分布式计算框架MapReduce的编程思想和作业执行流程，了解MapReduceWebU1和MapReduceShe1I接口，熟练掌握通过Java语言编写MaPRedUCe程序，完成海量数据的离线分析；4 .理解YARN体系架构，熟练掌握通过YARNWebU1界面和YARNShe11常用命令查看MapReduce应用程序的执行情况；5 .理解分布式协调框架ZooKeeper的工作原理和数据模型，熟练掌握在1inux环境下部署ZoOKeePer集群、使用ZooKeeperShe1I服务端命令和客户端命令；6 .理解HBaSe数据模型和体系架构，掌握HBaSe部署要点包括运行环境、运行模式及主要配置文件等，熟练掌握在1inUX环境下部署全分布模式HBase集群、使用HBaSeShe11常用命令完成数据库各类DD1、DM1操作；7 .理解HiVe的体系架构和数据模型，熟练掌握在1inUX环境下部署本地模式Hive,综合运用HiVeQ1语句进行海量结构化数据的离线分析：8 .理解SqoOP体系架构，熟练掌握在1inUX环境下部署Sqoop,灵活使用各种SqOOPShe1I命令完成HadOOP数据的导入和导出；9 .理解FIUme的体系架构，熟练掌握在1inUX环境下部署F1Urne,灵活编写Agent属性文件和使用FIUmeSheII命令进行实时日志收集；10 .理解Kafka的体系架构，熟练掌握在1inUX环境下部署Kafka集群，使用KafkaShe1I命令完成分布式消息的发布和订阅。能力目标：培养学生学以致用，能够综合利用Hadoop大数据平台及其生态中各个工具解决实际大数据应用方面的基本问题，提高学生阅读外文科技文献能力，增强学生发现问题、分析问题、解决问题能力，与学科竞赛和项目紧密结合，稳步培养和提高学生的动手实践能力、自主创新能力、团队协作能力、写作表达能力。情感目标：通过对我国大数据技术、传统优秀文化的介绍，增强学生的民族自豪感，提升学生的爱国主义精神，增强文化自信；将专业知识与服务社会相结合，培养学生的社会责任感，树立正确三观，使学生更为深刻的理解专业内涵，提高学习内驱力，培养科学素养，内化为道德准则、科学思维和行为规范。课题第1讲开学第一课&Hadoop生态系统和体系架构授课教材参考资料教材：徐鲁辉.Had。P技术与应用M.北京：中国人民大学出版社，2023.参考资料：1徐鲁辉.HadooP大数据原理与应用M.西安：西安电子科技大学出版社,2023.2徐鲁辉.HadooP大数据原理与应用实验教程M.西安：西安电子科技大学出版社,2023.3徐鲁辉.大数据技术实战案例教程M.西安：西安也子科技大学出版社，2023.4林子的.大数据技术原理与应用（第3版）M.北京：人民邮包出版社，2023.5维克托迈尔-舍恩伯格，肯尼思库克耶.盛杨燕等译.大数据时代：生活、工作与思维的大变革M.杭州：浙江人民出版社，2013.6TomWhite.Hadoop:TheDefinitiveGuide（4thEdition）M.0'ReiIIyMedia,Apri12015.刀TomWhite,著.王海，译.HadOOP权威指南（第4版）M.北京：清华大学出版社，2017.81arsGeorge.HBase:TheDefinitiveGuideM.0'Rei11yMedia,September2011.9 1arsGeOrge,著.代志远，译.HBaSe权威指南M.北京：人民邮电出版社,2013.10 EdwardCaprio1o,DeanWampIer,JasonRutherg1en.ProgrammingHiveM.0,Rei11yMedia,September2012.11 EdwardCaprio1o,DeanWamp1er,JasonRUtherg1en,著.曹坤，译.Hive编程指南M.北京：人民邮电出版社，2013.12蔡斌.HadOOP技术内幕：深入解析HadooPCOmmOn和HDFS架构设计与实现原理M.北京：机械工业出版社，2013年5月.13董西成.HadOOP技术内幕：深入解析MaPRedUCe架构设计与实现原理M.北京：机械工业出版社，2013年5月.14董西成.HadooP技术内幕：深入解析YARN架构设计与实现原理M.北京：机械工业出版社，2014年1月.15倪超.从PaXOS到ZOoKeePer:分布式一致性原理与实践M.北京：电子工业出版社，2015.16林子雨.中国大学MOOC大数据技术原理与应用.https:/www.icourse163.orgcourseXMU-1002335004.17 ApacheHadoopEBO1.https:/hadoop.apache,org.18 ApacheZooKeeperEBO1.https:/zookeeper.apache,org.19 ApacheHBaseEBO1.https:/hbase.apache,org20 ApacheHiveEBO1.https:/hive,apache,org21 ApacheSqoopEBO1.https:/attic,apache,org/projects/sqoop.htm122 ApacheFImeEBO1.https:/f1ume,apache.org23 ApacheKafkaEBO1.https:/kafka.apache,org其它教学资源学堂云：HadOOP技术与应用目的要求开学第一课1 .明确该课程的教学目标。2 .明确该课程的教学进度、教材、参考资料、上机软件。3 .明确该课程的考核方式。4 .熟悉学堂云、雨课堂的使用方法。项目1部署全分布模式Hadoop集群1 .了解Had。P功能、起源和版本。2 .理解Had。P生态系统组成及各组件作用。（重点）3 .理解Had。P体系架构。（重点）教学内容开学第一课1.自我介绍。2 .课程地位、先修及后续课程。3 .教学目标及知识图谱。4 .课时分配（理论+实验）及进度、教材、参考资料、上机软件。5 .考核方式：平时+实脸+期末。6 .学堂云、雨课堂的使用方法。项目1部署全分布模式Hadoop集群1. 1初识HadOOP1.2HadOOP生态系统1.3HadOOP体系架构重点难点重点：HadooP生态系统，HadOOP体系架构。难点：无。教学方法手段讲授法，讨论法，任务驱动法教学步骤开学第一课1 .进行自我介绍。2 .进行头脑风暴，提问问题，引入为何学习此课程。3 .阐述课程地位、先修及后续课程。4 .明确该课程教学目标，了解该课程知识思维导图。5 .介绍该课程的课时分配及进度、教材、参考资料、上机软件。6 .公布考核方式：平时考核20%（在线考勤、课堂表现、作业、在线测试）+实验考核30%（实验态度、实验报告）+期末考核50%（机试）。7 .介绍学堂云、雨课堂的使用方法。8 .完成在线测试，对先修课程的知识和技能进行综合测试。项目1部署全分布模式Hadoop集群1 .提问问题引入“Hadoop”。2 .精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1 .当今IT界的热门技术有哪些？2 .你平时用的哪些应用使用到了大数据技术？作业1 .预习作业预习“Hadoop部署要点二2 .思考题（1）根据自己的专业领域和研究兴趣，调研大数据技术在自己所属领域中的应用现状。（2）调查分析大数据从业人员常用方法、技术与工具。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532课序授课日期授课班次授课教师批准人2课题第2讲Hadoop部署要点目的要求1 .掌握Had。P部署要点，包括运行环境、运行模式和主要配置文件（hadoop-env.sh、yarn-env.sh>mapred-env.sh、core-site,xm1、hdfs-site.xm1、yarn-site.xm1>mapred-site.xm1s1aves）等。（重点）2 .初步了解在1inUX下部署全分布模式HadooP过程：规划集群、准备机器及软件环境、安装和配置HadooP集群、关闭防火墙、格式化文件系统、启动和验证HadOOp、关闭HadOOPo教学内容项目1部署全分布模式Hadoop集群1.4 HadooP部署要点（重点）1.5 .1Had。P运行环境1.5.2 Had。P运行模式1.5.3 Had。P配置文件1.6 项目实训：部署全分布模式HadoOP集群（引入）重点难点重点：Hadoop部署要点。难点：无。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1 .复习提问，导人本节内容。2 .精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.HadoOP是什么？能干什么？2.HadOOP生态系统。3.HadOOP体系架构。作业1 .章节测试完成线上测试“章节测试I-部署全分布模式HadOOP集群”。2 .思考题（1）准备Had。P系统环境时，安装SSH是必须的，但是配置SSH免密登录并不是必须的，试述为何还要配置SSH免密赘录。（2）配置Hadoop是部署Hadoop