Hadoop生态系统及开发 实训手册 实训15 Kafka集群部署.docx

《Hadoop生态系统及开发 实训手册 实训15 Kafka集群部署.docx》由会员分享，可在线阅读，更多相关《Hadoop生态系统及开发 实训手册 实训15 Kafka集群部署.docx（3页珍藏版）》请在第一文库网上搜索。

1、实训6.3 Kafka集群部署L实训I目的通过本实训，了解Kafka的基本概念，理解Kafka工作原理，安装部署 Kafka集群。2 .实训内容本实训通过安装和配置Kafka,学会执行Kafka,并且校验集群是否搭建成 功。3 .实训要求以小组为单元进行实训，每小组5人，小组自协商选一位组长，由组长安排 和分配实训任务，具体参考实训操作环节。小组成员需确保ZoOKeePer集群是否 安装准确。4 .准备知识(1) Kafka概念趣解PrOdUCer：生产者，就是它来生产“鸡蛋”的。COnSUmer:消费者，生出的“鸡蛋”它来消费。TOPic：把它理解为标签，生产者每生产出来一个鸡蛋就贴上一个标

2、签(Topic),消费者 可不是谁生产的“鸡蛋”都吃的，这样不同的生产者生产出 来的“鸡蛋”，消费者就可以选择性的“吃” 了。Broker：就是篮子了。Partition： Partition是物理上的概念，每个Topic包含一个或多个PartitionoConsumer Group ：每个 Consumer 属于一个特定的 Consumer Group (可为 每个Consumer指定group name,若不指定group name,则属于默认的group)如果从技术角度，TOPiC标签实际就是队列，生产者把所有“鸡蛋(消息)” 都放到对应的队列里了，消费者到指定的队列里取。5 .实训步骤

3、(1)安装和配置Kafka将kafka_2.13-3.3.1 .tgz压缩包上传至master节点的/root/PaCkage目录下。解压 kafka_2.13-3.3.Ltgz,这里解压在/root/PaCkage 目录下：Cd rootpackagetar -zxvf kafka_2.13-3.3. Ltgz -C optsoftware(2)配置 Kafka配置环境变量：vim etcprofile添加以下内容二export KAFKA_HOME=/opt/software/kafka_2.13-3.3.1export PATH=$PATH:$KAFKA_HOME/bin一“使配置生蜃：

4、一source etcprofile穆祓 Kafka 的配置文件($KAFKAJIOMEconf):cd optsoftwarekafka_2.13-3.3.1/configvim server.properties修改 ZooKeeper 的连接节点,将文件中 zookeeper.connect=localhost:2181 的 localhost,修改为安装 ZoOKeePer 的三台节点，即 master、slavel slave2,主机 刍里面加上端口号，三台节点用逗号进行隔。如图6-31所示。zookeeper.connect=master:218 !,slave l:2181,sl

5、ave2:2181# # Zookeeper # Zookeeper connection string (see zookeeper docs for details).# This is a comma separated host:port pairs, each corresponding to a zk# server, e.g, 127.,0,1:3000,127., 1:3001,127.l32,.# You can also append an optional ch root string to the urls to specify the# root directory

6、for all kafka znodes.zookeeper.connect=master:2181,slavel:2181,slave2:2181图6-31修改ZooKeeper的连接节点 修改日青路馀的。如图6-32所示。log.dirs=/opt/software/kafka_2.13-3.3.1 tmpkafka-logs# A comma separated list of directories under which to store log files log.dirs=optsoftware/kafka_2,13-3.3.1/tmp/kafka-logs图6-32修改ZoOK

7、eePer日志路径(3)复制 master 的 Kafka 到 SIaVe 1、slave2在master中执行：shellscp-call.sh optsoftwarekafka_2.13-3.3.1(4)配置slavel slave2的Kafka配置文件配置SlaVel的配置文件(修改broker.id)新打开一个终端，饕SlaVel并执彳jvim optsoftwarekafka_2.13-3.3.1 Zconfi g/server.propertiesbroker.id= 1配置slave2的配置文件(修改broker.id)新打开一个终端，登录SlaVe2并执行vim optsoft

8、warekafka 2.13-3.3.1 configserver.propertiesbroker.id=2拷贝master节点的环境变量到SlaVel和slave2在master中执行/shell/scp_call .sh etcprofile二分别在SlaVel和SlaVe2节点中执行以下命令，使配置生效：source ZetcZprofile(5)校验 Kafka启动Kafka需确保master、slavel SlaVe2的ZOOKeePer已启动，如未启动则用下面指 令启动(执行jps,有QUorUmPeerMain进程则表示已启动)：zkServer.sh startZOoKeeP

9、er启动后，分别在master、slave K SlaVe2上执行以下命令启动 Kafka：kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties执行后番者进程情况，发现三个节点都启动了 Kafka进程。如图6-33所示。(rootnaster config# kafka-server-start.sh -daemon $KAFKA_HOME/config/server.pr opertiesrootnaster config# *shelljps all.sh= master jps =2195 Kafka1789 QuorumPeerMain2286 Jps= slavel jps =2082 Jps1587 QuorumPeerMain1999 Kafka= SIaVe2 jps =196 Jps1445 QuorumPeerMain1854 Kafka图6-33查看各节点上的进程6.实训总结本次实训注意要安装配置好ZooKeeper, Kafka的安装部署与ZooKeeper的 安装部署大同小异，启动的时候记得要汆启动ZOoKeeper,对于Kafka的原理要 认真理解。