大数据基础 教案全套 人大 模块一 大数据概述---8.5数据安全产品.docx

教学单元模块一大数据概述授课方式0理论课口实验（实训）课口理实一体课其他课时4教学目标知识目标了解大数据的发展历程。熟悉大数据的定义及特征。了解大数据的相关技术。令了解大数据的应用情况。能力目标能够阐述大数据的处理流程。理解大数据的技术架构。素质目标÷培养大数据应用分析能力。令准确把握大数据的发展趋势。令培养科技报国的家国情怀和使命担当。÷培养精益求精的工匠精神和爱岗敬业的劳动态度。教学重点难点教学中.点大数据的定义及特征。大数据行业应用。教学难点令大数据的处理流程。令大数据的技术架构。教学方法与手段教学方法令讲授法令演示法令案例教学法教学手段多媒体课件令大数据软件环境令在线课程网站教学过程 课程导入介绍课程要求及教材，结合同学们在生活和学习中对计算机、大数据的了解，以提问+案例方式引入，融入思政教育。 讲授主要内容一、大数据时代1 .三次信息化浪潮2 .大数据发展历程3 .数据产生方式的变化二、大数据相关概念1大数据的定义2.大数据的特征三、大数据应用现状四、大数据相关技术1 .云计算2物联网3 .移动互联网4人工智能五、大数据处理流程六、大数据技术架构1 .大数据基础架构2 .大数据常用框架技术3 .大数据技术栈七、大数据面临的挑战与发展趋势1大数据面临的挑战4 .大数据发展趋势小结本模块介绍了大数据的发展、定义、特征、应用、处理流程、技术架构、面临的挑战以及发展趋势。课后任务 完成模块练习 下载安装大数据开发环境教学单元模块二大数据思维授课方式EJ理论课口实验（实训）课口理实一体课其他课时4教学目标知识目标令了解大数据思维的含义令了解大数据思维的维度令掌握大数据思维方式能力目标令能够理解大数据思维的三个维度令能够理解大数据的思维方式素质目标培养大数据案例分析能力令转变思维模式，增强大数据意识培养大数据思维能力令培养良好的团队协作意识教学重点难点教学重点大数据思维的三个维度大数据思维方式大数据思维运用案例教学难点理解运用大数据思维方式教学方法与手段教学方法讲授法案例教学法教学手段多媒体课件大数据软件环境在线课程网站教学过程课程导入从人类常用的思维方式导入，结合学生的学习和生活对大数据思维方式进行理解，剖析经典案例，融入思政教育。讲授主要内容一、传统思维方式二、大数据思维的含义三、大数据思维的三个维度四、大数据思维方式1 .数据核心思维数据核心思维是以数据为核心、数据驱动的思维方式，数据说话。2 .数据全样思维数据全样思维是指大数据研究的对象是所有样本数据，3 .数据容错思维数据容错思维是指更加追求效率，而不是精确性。4 .数据相关思维数据相关思维是指关注相关性，而不是因果关系。让数据说话，用而非抽样数据。五、大数据思维运用案例1 .数据核心思维运用案例2 .数据全样思维运用案例3 .数据容错思维运用案例4 .数据相关思维运用案例小结本模块介绍了大数据思维的含义及3个维度，然后介绍了几种重要的大数据思维方式：数据核心思维、数据全样思维、数据容错思维和数据相关思维，并对大数据思维进行了典型案例分析。课后任务完成模块练习理解大数据思维的案例教学单元模块三大数据支撑技术授课方式理论课口实验（实训）课0理实一体课其他课时16教学目标知识目标 了解虚拟化技术、云计算技术的基本概念。 熟悉Hadoop生态系统及其重要组件。令理解分布式文件系统的基本概念和体系结构。 理解大数据处理框架Spark的基本原理。 了解Hive基础知识。 掌握Hadoop集群模式的安装与配置令掌握Hadoop集群模式的使用 掌握SparkStanda1one模式安装与配置 掌握Spark集群模式的使用 掌握HiVe环境搭建 掌握HiVe环境的应用 掌握Python环境配置 掌握使用Python实现WordCount程序能力目标 能够阐述HDFS的存储原理和读写过程。 能够阐述分布式计算框架MapReduce的基本工作过程。令能够创建虚拟机并安装CentOS7操作系统。令能搭建Hadoop集群环境 能使用Hadoop内置WordCount程序令能搭建Spark集群环境令能使用Saprk实现WordCount程序 能搭建Hive环境 能使用Hive环境进行数据分析 能搭建Python环境配置令能使用Python实现Worc1Count程序素质目标令学习先进技术，提升学习意识和创新意识。令培养独立分析问题、解决问题和动手实践的能力。令培养严谨认真的学习态度和耐心细致的工作作风。令沟通能力、团队合作及协调能力良好的编程习惯，查阅相关手册及资料能力教学重点难点教学重点 Hadoop生态系统。 大数据处理的存储和计算技术。 HadooP集群的安装和配置 Hadoop环境的应用令Spark集群的安装和配置 Spark的应用令Hive环境搭建 Hive环境的应用令Python环境配置 Python实现WordCount程序教学难点 Hadoop的核心组件HDFS的技术原理。 Hadoop的核心组件MapReduce的技术原理。 HadOoP集群的安装和配置 Spark集群的安装和配置 Hive环境搭建 Python环境配置教学方法与手段教学方法讲授法实验法教学手段多媒体分组讨论分组实验课程导入上一个模块学习了大数据思维，旨在引导学生转变思维方式，建立大数据思维。本模块将围绕大数据的支撑技术，分别阐述虚拟化技术、云计算、大数据生态系统Hadoop.分布式文件系统HDFS.分布式计算框架MapReduces实时数据处理Spark以及Hive数据仓库等内容，并设计了实训项目来提升学生的应用能力和动手实践能力。讲授主要内容一、虚拟化技术1 .虚拟化技术(1)虚拟化技术概述(2)虚拟化技术的分类2 .常见的虚拟化软件(1) VMware(2) Virtua1Box(3) KVM(4) Hyper-V(5) Xen(6) Docker二、云计算1.云计算简介教学过程2 .云计算的服务模式(1) IaaS:基础设施即服务(2) PaaS:平台即服务(3) SaaS:软件即服务(4) CaaS:容器即服务3 .云计算的部署方式(1)私有云(PrivateC1oud)(2)公有云(Pub1icC1oud)(3)社区云/行业云(COmmUnityC1oud)(4)混合云(HybridC1oud)4 .云计算与大数据的关系三、大数据生态系统Hadoop1. Hadoop的起源2. Hadoop的基本概念3. Hadoop的优势4. Hadoop生态系统5. Hadoop的版本6. Hadoop的应用场景(1) Hadoop在互联网领域的应用(2) Hadoop在通信领域的应用四、分布式文件系统HDFS1 .HDFS的体系结构2 .HDFS的运行机制(1)副本机制(2)心跳机制(3)副本放置与机架感知策略(4) HA机制3. HDFS文件的上传和下载4. HDFSShe11常用命令五、分布式计算框架MapReduce1. MapReduce简介2. MapReduce的特点3. MapReduce的工作流程(1)输入分片、数据格式化(2)执行Map过程(3)执行Shuff1e过程(4)执行Reduce过程(5)结果输出并写入文件4. MapReduce案例单词计数六、实时数据处理SPark1. Spark简介2. Spark的特点3. Spark生态系统(1) SparkCore(2) SparkSQ1(3) SparkStreaming(4) M11ib(5) GraphX(6)独立调度器、YarnXMesos4. Spark与Hadoop对比(1)编程方式(2)数据存储(3)数据处理(4)数据容错5. Spark的部署方式(1) Standa1one模式(2) Yarn模式(3) Mesos模式七、数据仓库Hive1. Hive简介2. Hive系统架构3. Hive支持的数据类型基础数据类型复杂数据类型4. Hive的数据模型(1)数据库(2)表(3)分区表(4)桶表(5)视图5. Hive的文件存储格式(1) TextFi1e格式(2) SequenceFi1e格式(3) RCFi1e格式(4) ORC格式八、实训实训一HadOoP环境的搭建及应用一、Hadoop环境搭建1 .环境及软件说明2 .安装虚拟机软件和1inux系统3 .修改虚拟机和Windows网络配置4 .修改主机名和设置静态IP5 .克隆虚拟机6 .安装完全分布式hadoop(I)SSH免密登陆(2)安装jdk(3)安装Hadoop(4)修改Hadoop集群配置文件(5)将hadoop1配置好的环境变量文件、jdk安装目录、HaciooP安装目录分发给hadoop2、hadoop3o(6)格式化文件系统并启动集群。(7)关闭集群所有节点防火墙，WindOWS浏览器访问hadoop1:50070,如能正常访问，表明HDFS运行正常。浏览器访问hadoop1:8088,如能正常访问，表明YARN运行正常。二、Hadoop环境的应用WordCount是个简单的分布式应用实例，主要功能是统计输入目录中所有单词出现的次数。本实训使用Hadoop内置WordCount程序。实现思路及步骤(1)创建words,txt,输入内容。(2) HDFS创建user/input文件夹。(3)上传words,txt到HDFS目录/user/input(4)使用Hadoop官方的示例程序包，通过命令提交MapReduce任务。(5)查看并检查结果。实训二Spark环境的搭建(Standa1One模式)及应用一、Spark环境搭建1 .将spark_2.3.2-bin-hadoop2.7.tgz文件上传到opt/software文件夹并解压缩，然后放置在指定位置2 .进入spark的conf目录修改s1aves文件。3 .修改spark-env.sh文件,添加以下内容，exportJAVA_HOME=/optmodu1e/jdk1.8.0_251SPARKMASTERHOST=hadoop1SPARK_MASTER_P0RT=70775 .分发文件6 .启动集群7 .运行示例计算Pi程序测试集群二、SPark环境的应用Worc