Kafka能像pubsub一样按需动态创建消费者组吗?

eaf3rand  于 7个月前  发布在  Apache
关注(0)|答案(1)|浏览(85)

如果你有成千上万的消费者,每个消费者都需要自己的最新消息副本,而消费者的数量不断波动,Kafka能支持这种情况吗?
我能想到的唯一方法是在每次新的消费者(设备、服务器)需要时动态注册一个新的消费者组,并在每次现有的消费者(设备、服务器)不需要时销毁该消费者组,并有一个服务定期检查是否有任何消费者组未被使用并删除它们
当在Kafka中创建消费者组时,开销只是指向消息日志的指针,Kafka可以扩展到数万个消费者组,如果不是数百万个
或者这是Kafka的一个糟糕的用例,我们应该使用任何替代品。

q43xntqr

q43xntqr1#

你只需要使用消费者组来提交偏移量和扩展消费者。(并且Kafka会自动删除“未使用”的组,或者那些在一段时间内没有提交偏移量的组)
如果你有一个唯一的“设备”,没有理由创建一个“组”,特别是如果你只需要“最新消息”
但是,如果您处于IOT环境中,则MQTT通常与Kafka或NATS结合使用

相关问题