kafka在重启消费者时经常出现问题

rks48beu  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(335)

我有一个每分钟创建五个线程的管道,每个线程执行以下操作:
使用zookeeperconsumerconnector创建一个kafkaconsumer
在一分钟内使用消息
一旦时间到了,线程就被终止,这个过程就会重复。请注意,所有线程都使用相同的groupid。
一段时间后,我会说在30分钟到几个小时之间,我开始看到每个线程都出现这种异常,它们停止使用消息:
同步平衡期间出错(kafka.consumer.zookeeperconsumerconnector)kafka.common.consumerBalanceFailedexception:can't在kafka.consumer.zookeeperconsumerconnector$zkrebalancerlistener.syncedrebalance(zookeeperconsumerconnector)重试4次后重新平衡。scala:633)在kafka.consumer.zookeeperconsumerconnector$zkrebalancerlistener$$anon$1.运行(zookeeperconsumerconnector。scala:551)
即使在所有线程都被终止、kafka消费者关闭并创建新的线程之后,这种情况仍然会发生。
如果我运行这个让线程始终处于活动状态的话,似乎没有任何问题。
Kafka是否应该支持这样一种情况,即给定groupid的消费者在一段时间后不断被创建和删除?
我用的是Kafka0.8.2.1
谢谢!

k7fdbhmy

k7fdbhmy1#

这个问题的解决方案似乎是升级kafka,因为这是kafka 0.8+的一个已知问题。这应该在0.9.+中修复,更多详细信息请参见:https://github.com/ibmstreams/streamsx.messaging/issues/125

相关问题