大数据技术之kafka (第 3 章 Kafka 架构深入) 分区策略在分析

x33g5p2x  于2021-12-19 转载在 其他  
字(0.4k)|赞(0)|评价(0)|浏览(253)

如果不懂分区策略请看我之前的文章:https://blog.csdn.net/ywl470812087/article/details/105328015

默认的方式我们采用的是Range策略方式(按主题给消费者消费,主题被谁订阅了就谁消费)

先看下下面这个图,画的很丑,将就看看吧

我们从图知道现在有两个主题 T1  和  T2 它们都有[0,1,2]三个分区,现在有3个消费者A、B、C  

A和B是同一个组的, C单独一个组。

消费者A和B、C都订阅了主题T1   ,T2主题只有消费者B订阅了

消费的时候,因为T2主题只有B消费者订阅了,T2的3个分区都要给B消费

对于消费者C很容易理解,主题T1的3个分区只能都给C消费。

对于消费者A和B它们两个都订阅了T1,但是A和B是同一个组的,所以不能把T1主题的分区都发给A和B ,这样就重复消费了,一个主题被一个组消费两次,这时候A和B就要平均分配,3个分区2个消费者,3除以2除不尽,这样就分配不均,这样A就可能被分到主题T1的[0,1]两个分区,B负责消费分区3

相关文章