Hadoop大数据原理与应用教案.docx

Hadoop大数据原理与应用教案课序授课日期授课班次授课教师批准人1课程描述大数据技术原理及应用是学习大数据技术的入门课程，是计算机科学与技术、数据科学与大数据技术、人工智能等专业的一门学科基础与专业核心课程。该课程着重讲述大数据技术的知识体系，阐明其基本原理，引导学生进行初级实践和了解相关应用，培养学生运用大数据平台搭建、大数据收集与预处理、大数据迁移、大数据存储与管理、大数据处理与分析、数据可视化等方法和技术工具完成大数据应用的能力，在整个大数据课程体系中起着承前启后重要作用。该课程由理论教学和实验教学两个部分组成，其先修课程包括面向对象程序设计、PythOn语言程序设计、操作系统、数据库原理等，后续课程包括数据采集与预处理、大数据存储与管理技术、数据挖掘、大数据开发技术、大数据高级编程、数据可视化技术等。总学时理论教学实践教学周学时学分483216单4双23课程教学目标大数据技术原理及应用围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想，着重讲述大数据技术的基本原理、基本方法、技术工具和相关应用，帮助学生构建完整的大数据技术知识体系，使学生了解大数据技术在行业领域中的最新发展趋势和前沿知识，熟悉大数据应用的整个生命周期，能够熟练使用Hadoop、SPark等主流大数据平台及其生态系统中的技术工具完成基本的大数据应用闭环操作，达到知行合一、以用促学的目的。知识目标：1 .理解大数据基本概念，了解大数据与云计算、物联网、人工智能的关系，了解当前大数据的岗位及需求、学习路线；2 .认识大数据处理平台Hadoop,熟练掌握全分布模式Had。P集群地部署基本过程；3 .理解分布式文件系统HDFS的体系架构、文件存储机制和数据读写过程，熟练掌握HDFSWebU1的使用、HDFSShe1I常用命令的使用和HDFS编程；4 .理解分布式计算框架MapReduce的编程思想和作业执行流程，掌握MaPRedUCe简单编程，了解当前其他主流的大数据计算框架如SPark、Storm、FIink等；5 .理解YARN体系架构和工作原理，掌握YARNWebU1YARNShe1I的基本使用，了解ReSOUrCeManager高可用机制的原理与配置，了解HDFSNan1eNode课程教学目标高可用机制、HDFSNameNodeFederation、HDFSSnapshots：6 .理解分布式协调框架ZOOKeePer的执行原理和应用场景，掌握ZOOKeePer集群的部署和ZOOKeePerShe1I常用命令的使用；7 .理解NOSQ1数据库与关系数据库的区别、分布式数据库HBaSe的数据模型、体系架构和运行机制，熟练掌握HBaSe集群的部署、HBaseShe11常用命令的使用：8 .理解HiVe的体系架构和执行流程，掌握HiVe的部署和连接方式，熟练掌握HiVe基本操作包括HiVeDD1、HiveDM1的书写和HiVeShe1I命令的使用；9 .理解数据迁移框架Sqoop日志采集系统FIUme、分布式发布/订阅消息系统Kafka的作用、架构和工作原理，掌握SqOOp、FI11me、Kafka的部署和使用；10 .了解数据可视化的概念、作用和过程，理解常用的数据可视化图形，了解当前主流的数据可视化工具。能力目标：培养学生学以致用，能够综合利用Hadoop大数据平台及其生态中各个工具解决实际大数据应用方面的基本问题，提高学生阅读外文科技文献能力，增强学生发现问题、分析问题、解决问题能力，与学科竞赛和项目紧密结合，稳步培养和提高学生的动手实践能力、自主创新能力、团队协作能力、写作表达能力。情感目标：通过对我国大数据技术、传统优秀文化的介绍，增强学生的民族自豪感，提升学生的爱国主义精神，增强文化自信；将专业知识与服务社会相结合，培养学生的社会责任感，树立正确三观，使学生更为深刻地理解专业内涵，提高学习内驱力，培养科学素养，内化为道德准则、科学思维和行为规范。课题第1讲开学第一课&大数据概述授课教材参考资料其他教学资源学堂云：大数据技术原理及应用目的要求开学第一课1 .明确该课程的教学目标。2 .明确该课程的教学进度、教材、参考资料、上机软件。3 .明确该课程的考核方式。4 .熟悉学堂云、雨课堂的使用方法。第1章大数据概述1 .理解大数据的概念（重点），了解大数据的内涵。2 .理解大数据的4V特征：VoIume（海量化）、Variety（多样化）、Va1ue（价值密度低）、Ve1ocity（快速化）。（重点）3 .了解大数据处理关键技术：数据采集与预处理、数据存储与管理、数据处理与分析、数据可视化。（难点）4 .了解大数据产业。5 .理解大物云智5G技术，掌握大物云智5G之间的关系。（重点难点）6 .了解大数据的岗位。7 ,了解大数据的学习路线。教学内容开学第一课1 .自我介绍。2 .课程地位、先修及后续课程。3 .教学目标及知识图谱。4 .课时分配（理论+实验）及进度、教材、参考资料、上机软件。5 .考核方式：平时+实验+期末。6 .学堂云、雨课堂的使用方法。第1章大数据概述1.1 大数据内涵（重点）1.2 大数据特征（重点）1.3 大数据关键技术（难点）1.4 大数据产业1.5 大数据与物联网、云计算、人工智能、5G的关系（重点，难点）1.6 大数据岗位介绍1.7 大数据学习路线重点难点重点：大数据概念，大数据特征，大物云和5G之间的关系。难点：大数据关键技术，大物云智5G之间的关系。教学方法手段讲授法，讨论法，任务驱动法教学步骤开学第一课1 .进行自我介绍。2 .进行头脑风暴，提问问题，引入为何学习此课程。3 .阐述课程地位、先修及后续课程。4 .明确该课程教学目标，了解该课程知识思维导图。5 .介绍该课程的课时分配及进度、教材、参考资料、上机软件。6 .公布考核方式：平时考核30%（在线考勤、课堂表现、作业、在线测试）+实验考核20%（实验态度、实险报告）+期末考核（笔试或大作业）。7 .介绍学堂云、雨课堂的使用方法。8 .完成在线测试，对先修课程的知识和技能进行综合测试。第1章大数据概述1.提问问题引入“大数据”。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1 .当今IT界的热门技术有哪些？2 .你平时用的哪些应用使用到了云计算和大数据技术？作业1.章节测试完成线上测试“章节测试1一大数据概述”。2 .预习作业预习“初识Hadoop3 .思考题(1)根据自己的专业领域和研究兴趣，调研大数据技术在自己所属领域中的应用现状？(2)调查分析大数据从业人员常用方法、技术与工具。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配(以分钟计算)10701532（以2课时为单元）课序授课日期授课班次授课教师批准人2课题第2讲初识Hadoop目的要求1 .理解HadoOP是什么（重点），了解HadOoP的发展简史、特点、版本。2 .理解Had。P生态系统组成及各组件基本功能。（重点）3 .理解Had。P体系架构。（重点）4 .了解Had。P在国内外应用现状。5 .理解部署Hadoop集群所需系统环境、HadOoP运行模式，熟练掌握在1inUX下部署全分布模式HadoOP过程：规划集群、准备机器及软件环境（配置静态IP、修改主机名、编辑域名映射、安装和配置Java、安装和配置SSH免密鳌录）、安装和配置Hadoop集群（hadoop-env.sh、yarn-env.sh、mapred-env.sh>core-site.xm1、hdfs-site.xm1、yarn-site.xm1、mapred-site.xm1、s1aves）、关闭防火墙、格式化文件系统、启动和脸证Hadoop、关闭Hadoop0（重点难点）教学内容第2章初识Hadoop2.1HadOOP概述（重点）2.2HadOOP生态系统（重点）2.3Hadoop体系架构（重点）2.4Hadoop应用现状2.5部署和运行HadOOP（重点，难点）重点难点重点：HadOOP是什么，Hadoop生态系统,Hadoop体系架构，部署和运行Hadoop0难点:部署和运行HadOOPo教学方法手段讲授法，讨论法，演示法，案例法教学步骤第2聿初识Hadoop1 .复习提问，讲评章节测试1,导入本节内容。2 .精讲本节内容。3 .进行本节小结。4 .布置课后作业。复习提问1 .根据你的理解，何为大数据？2 .大数据有哪些特征？3 .大数据关键技术有哪些？作业1.章节测试完成线上测试“章节测试2初识HadoopnO作业2.思考题(1)准备Had。P系统环境时，安装SSH是必须的，但是配置SSH免密登录并不是必需的，试述为何还要配置SSH免密登录。(2)配置Hadoop是部署Hadoop过程中较为繁琐的步骤，试述配置Hadoop伪分布模式和全分布式模式的异同。预习内容预习线上资源“实险指导书一实脸1部署全分布模式HadoOP集群”，了解实脸目的和实脸内容，准备实脸环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配(以分钟计算)10701532实验教学教案首页（第3次课）（以2课时为单元）课序：实验日期：实验教师：*批准人:*一、实验名称实验1部署全分布模式Hadoop集群二、实验目的、要求1 .熟练掌握1inUX基本命令。2 .掌握静态IP地址的配置、主机名和域名映射的修改。3 .掌握1inUX环境下JaVa的安装、环境变量的配置、JaVa基本命令的使用。4 .理解为何需要配置SSH免密登录,掌握1inux环境下SSH的安装、免密登录的配置。5 .熟练掌握在1inux环境下如何部署全分布模式Hadoop集群。三、实验重点、难点重点：配置全分布模式HadooP集群。难点：配置SSH免密登录。四、实验器材、设备本实验所需的软硬件环境包括PC>VMwareWorkstationProCentOS安装包、OraC1eJDK安装包、HadoOP安装包。教学设计：一、复习提问，回顾部署和运行HadooP的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。实验步骤如下：；科技能；3.理解SSH安全通信W议1>WB1nuxS4直第HAdOOPaKdsniS：运行环级运行I式、生态系终体系架构、配置文件考他群架构和a：主节点、从节点、IPm1运行服务、蚊眼W1-S1SJS-件选择：虚拟机工具、1inUX操作浜统、JaV最SSH、HadooP2总备机88配同MP修改主机g3推备软件环境.gS¾j,¾Eg)<va安装和配置SSH免阳录4.下则安装HadooP新建怆doop.sh:添加HAooOPHoMf到变ItPAIHtthdoop-envh:JAVAHOME.HA(XX)P$HOPTS.HADOoPp1DDIR-fi