Kafka消费者工作队列

mnowg1ta  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(364)

我们在soa应用程序中有以下场景。servicea产生一些需要serviceb示例异步处理的作业。本质上,这转化为一个工作队列问题,其中每个工作线程都是serviceb的一个示例。我们使用kafka作为消息代理,并具有以下设置。
5经纪人b1、b2、b3、b4和b5。有一个主题(a)有10个分区(p1,p2,…p10),每个分区的复制因子为3。假设分区分配如下:p(i)以b(i)为前导,b(i+1)和b(i+2)为副本。
有3个serviceb示例正在运行。考虑到这个设置,我们应该如何使用高级使用者api来实现消费模型c1从3个分区消费;3个分区的c2;其余4个分区的c3

gstyhher

gstyhher1#

您不能使用高级使用者将事情控制到这个级别。
如果使用者c1、c2和c3属于同一使用者组(即具有相同的group.id),则高级使用者将尝试平衡它们之间的分区。最后应该有两个消费者,每个消费者从2个分区消费,一个从4个分区读取。但是你不能控制细节。
如果您需要更多地控制哪个使用者获得多少分区,那么您需要自己使用简单的使用者api来完成。

相关问题