Hadoop生态系统及开发 实训手册 实训2 HDFS的安装部署与配置.docx

《Hadoop生态系统及开发 实训手册 实训2 HDFS的安装部署与配置.docx》由会员分享，可在线阅读，更多相关《Hadoop生态系统及开发 实训手册 实训2 HDFS的安装部署与配置.docx（13页珍藏版）》请在第一文库网上搜索。

1、实训2.2 HDFS的安装部署与配置L实训I目的通过本实训理解HDFS的架构以及安装与部署；学会启动HDFS集群，懂得 上传文件至IJ HDFSo2 .实训内容该实训主要是进行HDFS集群的相关操作，包括HDFS的安装部署和配置, 并且懂得查看HDFS的WebUI界面和上传文件到HDFSo但在部署之前需要安 装好HDFS的运行前提环境JDK,然后再在master上部署NameNode服务，在 slave上部署DataNode服务。3 .实训要求以小组为单元进行实训，每小组5人，小组自协商选一位组长，由组长安排 和分配实训任务，具体参考实训操作环节。4 .准备知识(1) HDFS内容回顾分布式文

2、件系统分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地 节点上，而是通过计算机网络与节点相连。该系统架构于网络之上，势必会引入 网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。HDFS架构HDFS为大数据平台其它所有组件提供了基本的存储功能。它具有高容错、 高可靠、可扩展、高吞吐率等特征，为大数据存储和处理提供了强大的底层存储 架构。HDFS是一个主从结构的分布式文件系统，具有分布式存储的特点，HDFS 集群拥有一个NameNode和多个DataNode, NameNode管理文件系统的元数据， DataNode存储实际的数据。从用户的角度来看，其与传统的文件系

3、统类似，可通过目录路径对其上的文 件执行增删改查操作。由于是分布式存储，所以HDFS集型除了拥有一个 NameNode,还有多个DataNOde, NameNode管理着文件系统的元数据，DataNode 存储实际的数据。HDFS开放文件系统的命名空间以便用户以文件形式存储数据，秉承“一次 写入、多次读取”的原则。客户端通过NameNOde和DataNOde的交互访问文件 系统，联系NameNode以获取文件的元数据，而真正的文件I/O操作是直接和 DataNode进行交互的。(2) HDFS基本命令HDFS的基本命令与Linux的命令非常相似，可以结合Linux的命名进行对比 学习。HDFS

4、基本命令格式如下(Cmd为具体的操作，args为参数)：hdfs dfs -Cmd args部分HDFS命令示例如下：hdfs dfs -mkdir usertrunk#建立目录usertrunkhdfs dfs -Is /user#查看/user目录下的目录和文件hdfs dfs -Isr /userhdfs dfs -put test.txt ZuserZtrunk hdfs dfs -get usertrunktest.txt hdfs dfs -cat usertrunktest.txt hdfs dfs -tail usertrunktest.txt hdfs dfs -rm use

5、rtrunktest.txt hdfs dfs -help Is5.实训操作#递归查看/user目录下的目录和文件# 上传 test.txt 文件至usertrunk# 获取 AiserAninkZtesLtxt 文件# 查看usertrunktest.txt 文件内容#查看usertrunktest.txt 文件的最后 IOoo 行跚!除usertrunktesLtxt 文件#查看IS命令的帮助文档（1）安装包准备下载好的JDK和HadOoP的安装包，可以直接使用MobaXterm工具上传 安装包到各个节点。点击MobaXterm软件左侧的sftp可以进入传输文件页面， 点击下方的“跟随终端

6、文件夹”可以让显示的内容跟随操作的路径。如图2-30 所示。修钝会活视图 X赧务88 1初戏设宏HelpServers次 金 寓爨ToolsGames SessionsviewSplKMiMCxec Tunning PagQeS Settmgs HelpXsefW Brt快遽直接二7ilTBOki叵M随终就文件央ba 九 history .bs-logout .bsjor .bSfC .cshfc .tc9trc:anoonda3dgroot名远程监控StteF 囚 14 master rootnaster -# (roothiaster -# cd (rootna$ter -# (rootn

7、aster -# I rootnatcr -# rootnaster -# rootnaster -# iroot聊aster -# iroot御aster -# iroot领aster -# root0master -# iroot聊aster -# iroot御aster root聊aster -# rootnester -# rootnaster -# (root9naster root9naster -# rootnaster -j* root9naster rootnaster -# root(naster -j* (root(naster j* rootnaster -# I Q

8、12 sav1S 13 slav2N masterUNREGISTERED VERSION Please support MobaXterm by subsotog to the ProfeSWnal edbo here: 图2-30切换到上传文件页面将需要上传的软件拖拉到MobaXterm窗口空白处，如图2所示。提取1大敢一;件- 压缩的文件夹工JlVo a搜索大敢掘软件名称修改日期大小l activation-1.1.12022/10/21 10:38Executable Jar File68 KBBB apache-flume-1.10.1-bin.tar2022/10/2015:263

9、60压冬86,893 KBM apahe-hive3.1.3-bi.tar2022/10/20 10:10360S*319,278 K8M apahe-maven-3.6.3-bin.tar2022/10/25 17:303609.284 KB apachemaven-3.6.3bin2022/10/25 17:31360压缩ZIP文件9.378 KB apac he zkeeper 3.5.10. tar2022/10/20 10:15360压箍3,129 KBNB apache-zkeeper-3.5.10-bin.tar2022/10/21 17:49360B9,659 KB:CentO

10、S-7-x86_64-Minimal-20092022/10/20 15:08光盘映像文件996.352 KB 4 hadoop-3.3.4.tr2022/10/19 17:47360压烟679,158 KB4 hba5e-2,5.0-bin.tar2022/10/20 10:42 抱栉360306,937 K8I . jdku 161 -Iinux-x64.tar36Q压爆15,3O9 KB手 jdk-11.0.6-windowsx64 bin2022/10/2011:41应用总序一IH kafka_2.13-3.3.12022/10/2010:19360S102,591 KB MobaXt

11、erm backup2022/10/26 17:36360压SiZIP文件13 KB MobaXterm2022/10/27 16:33AdKiSS5 KBF MobaXtermfHS2022/10/2011:1313,523 KB spark-3.3.O*bin*hadp32022/10/20 116360压缩292.306 KB旦电记2022/10/26 9:15文本文档IOKB堀 曲R master终演会话视83X觥务蠡TRSavers盘TodsGames Sessions上牙6力OAi /xootX司名Stze .bas.htstor .bwhJogout .bashJrOhie .b

12、ashrc .cshrc .tcshrc andoong&dgB远程监控叼跟随终范文件夹INREGISTERED VERSION - PteaSeSUPPOrt图2-30上传JDK与Hadoop安装包到master 等待软件上传完后，继续往下操作。（2） JDK安装配置三台节点均操作将JDK移动到指定文件夹放置好，如图2-31所示。mkdir packagemv hadoop-3.3.4.tar.gz jdk-8u 161 -Iinux-x64.tar.gz package/cd package/11rootnaster -# mkdir packageroot领aster -#root(na

13、ster # Il total 864476-rw 1rootroot1259Oct2711:37anaconda-ks.cfg-rw-r-r-. 1rootroot695457782Oct2717:04hadoop-3.3.4.tar.gz-rw-r-r-. 1rootroot189756259Oct2717:05jdk-8u161-Iinux-x64.tar.gzdrwxr-xr-x. 2rootroot6Oct2717:05packageroot领aster -#root额aster -# mv hadoop-3.3.4.tar.gz jdk-8ul61-Iinux-x64.tar.gz

14、 packagerootnaster *#rootnaster j# 11total 4- rw 1 root root 1259 Oct 27 11:37 anaconda-ks.cfgdrwxr-xr-x. 2 root root 67 Oct 27 17:05 packagerootnaster -#root领aster # cd packagerootnaster package# 11total 864472- rw-r-r-. 1 root root 695457782 Oct 27 17:04 hadoop-3.3.4.tar.gz- rw-r-r-. 1 root root 189756259 Oct 27 17:05 jdk-8u161-Iinux-x64.tar.gzrootnaster package#rootnaster package# 创建optso