2023全方位解读 Kafka.docx

《2023全方位解读 Kafka.docx》由会员分享，可在线阅读，更多相关《2023全方位解读 Kafka.docx（42页珍藏版）》请在第一文库网上搜索。

1、从Kafka诞生的早期，我就对Kafka投入了很多的关注，虽然不敢说精通Kafka,但也算是非常熟悉了。平时在工作之中，几乎天天都在跟这玩意儿打交道，在面试的时候，也会经常聊一些Kafka相关的内容。Kafka是一个优秀的分布式消息中间件，许多系统中都会使用到Kafka来做消息通信。对分布式消息系统的了解和使用几乎成为一个开发人员必备的技能。p9CM“Jddswt(zaM)H为什么福慢能I无kmm19nr假TK性I.可用内,通信卷议Ika1AcceptorPromcorSOCiMSerwf/V-RquvtCMnnt)二一9万ygtswRn,一aRqueHn1ePooRequcstHtfMSkf

2、-I/ TbpicAMPtr-1ogManaQe；/ 1oqSOperAWc,STOCF.REST.JPPAAOPBrx-1（HESftA-TfWfiWW,ttEM*7HnPW议知I9Vn匕”刻刻XMa息报按双伏.RMPVrt殖刻*.Wtf殖多必议.P6PUi如.g*c.旻于MpeeMSuve匕甯1*2久RftG文体SimtiP用T集2T9W/W1大仔、9Ifi&Ecft7nowafi2ft稀，可以自利无*扁U旧着想W序.WkcEU鼻卡CWt像Qq序TftM蝇XM不如t3可CQ口Ig1eW1AR（IIJ仅扃鲁一次MXM9M刻蚌fwi研柳劝如膏JfKWWTatw以方an做了生S行Yahoo1rK

3、*aVemWaug方式M2V12选择I答案关键字 什么是分布式消息中间件？通信，队列，分布式，生产消费者模式。消息中 间件的作用是什么？解耦、峰值处理、异步通信、缓冲。 消息中间件的使用场景是什么？异步通信，消息存储处理。 消息中间件选型？语言，协议、HA、数据可靠性、性能、事务、生态、简易、推拉模式。IKafka基本概念和架构I问题简单讲下Kafka的架构？ Kafka是推模式还是拉模式，推拉的区别是什么？ Kafka如何广播消息？ Kafka的消息是否是有序的？ Kafka是否支持读写分离？ Kafka如何保证数据高可用？ Kafka中zookeeper的作用？是否 支持事务？ 分区数是否

4、可以减少？Kafka架构中的一般概念：架构 Producer:生产者，也就是发送消息的一方。生产者负责创建消息，然后将其发送到Kafkao Consumer:消费者，也就是接受消息的一方。消费者连接到Kafka上并接收消息，进而进行相应的业务逻辑处理。 ConsumerGroup:一个消费者组可以包含一个或多个消费者。使用多分区+多消费者方式可以极大提高数据下游的处理速度，同一消费组中的消费者不会重复消费消息，同样的，不同消费组中的消费者消息消息时互不影响。Kafka就是通过消费组的方式来实现消息P2P模式和广播模式。 Broker:服务代理节点。Broker是Kafka的服务节点，即Kafk

5、a的服务器。 Topic:Kafka中的消息以ToPiC为单位进行划分，生产者将消息发送到特定的TOPiC,而消费者负责订阅TOPiC的消息并进行消费。 Partition:TOPiC是一个逻辑的概念，它可以细分为多个分区，每个分区只属于单个主题。同一个主题下不同分区包含的消息是不同的，分区在存储层面可以看作一个可追加的日志(1Og)文件，消息在被追加到分区日志文件的时候都会分配一个特定的偏移量(offset)o Offset:OffSet是消息在分区中的唯一标识，Kafka通过它来保证消息在分区内的顺序性，不过OffSet并不跨越分区，也就是说，Kafka保证的是分区有序性而不是主题有序性。

6、 Rep1ication:副本，是Kafka保证数据高可用的方式，Kafka同一Partition的数据可以在多Broker上存在多个副本，通常只有主副本对外提供读写服务，当主副本所在broker崩溃或发生网络一场，Kafka会在COntroHer的管理下会重新选择新的1eader副本对外提供读写服务。 Record:实际写入Kafka中并可以被读取的消息记录。每个record包含了key、va1ue和timestampoKafkaTopicPartitions1ayoutAnatomyofaTopic主题Kafka将ToPiC进行分区，分区可以并发读写。KafkaConsumerOffset

7、(offset=9)(offst=11)consumeroffsetzookeeperzookeeper Broker注册：Broker是分布式部署并且之间相互独立，Zookeeper用来管理注册到集群的所有BrOker节点。 ToPiC注册：在Kafka中，同一个TOPiC的消息会被分成多个分区并将其分布在多个BrokerJi,这些分区信息及与BrOker的对应关系也都是由ZOokeePer在维护 生产者负载均衡：由于同一个ToPiC消息会被分区并将其分布在多个Broker上，因此，生产者需要将消息合理地发送到这些分布式的Brokero 消费者负载均衡：与生产者类似，Kafka中的消费者同样

8、需要进行负载均衡来实现多个消费者合理地从对应的Broker服务器上接收消息，每个消费者分组包含若干消费者，每条消息都只会发送给分组中的一个消费者，不同的消费者分组消费自己特定的TOPiC下面的消息，互不干扰。I答案关键字 简单讲下Kafka的架构？ Kafka是推模式还是拉模式，推拉的区别是什么？Kafka如何广播消息？Kafka的消息是否是有序的？Kafka是否支持读写分离？Kafka如何保证数据高可用？Kafka中zookeeper的作用?是否支持事务？分区数是否可以减少？Kafka使用I问题 Kafka有哪些命令行工具？你用过哪些？ KafkaProducer的执行过程? KafkaPr

9、odUCer有哪些常见配置？如何 让Kafka的消息有序？ PrOdUCer如何保证数据发送不丢失？如何 提升Producer的性能？ 如果同一group下consumer的数量大于part的数量，kafka如何处理？ KafkaConsumer是否是线程安全的？ 讲一下你使用KafkaConsumer消费消息时的线程模型，为何如此设计？ KafkaConsumer的常见配置？ ConSUmer什么时候会被踢出集群？ 当有ConSUmer加入或退出时，Kafka会作何反应？什么是 Reba1ance,何时会发生Reba1ance?I命令行工具Kafka的命令行工具在Kafka包的/bin目录下

10、，主要包括服务和集群管理脚本，配置脚本，信息查看脚本，ToPiC脚本，客户端脚本等。 kafka-configs.sh:配置管理脚本 kafka-conso1e-consumer.sh:kafka消费者控制台 kafka-conso1e-producer.sh:kafka生产者控制台 kafka-consumer-groups.sh:kafka消费者组相关信息 kafka-de1ete-records.sh:删除低水位的日志文件kafka- 1og-dirs.sh:kafka消息日志目录信息 kafka-mirror-maker.sh:不同数据中心kafka集群复制工具 kafka-preferred-rep1ica-e1ection.sh:鱼虫发preferredrep1ica选举 kafka-producer-perf-testsh:kafka生产者性能测试脚本 kafka-reassign-partitions.sh:分区重分配脚本 kafka-rep1ica-verification.sh:复制进度验证脚本kafka- server-startsh:启动kafka月艮务 kafka-server-stop.sh:停止kafka服务 kafka-topics.sh:topic管理脚本 kafka-verifiab1e-consumer.sh:可检验的kaf