合流模式注册表偏移管理

v6ylcynt  于 2021-06-07  发布在  Kafka
关注(0)|答案(2)|浏览(287)

我们使用合流模式注册表作为avro模式repo。我所观察到的是,在zookeeper中没有消费补偿管理。这是因为模式注册表的设计方式-不是在zookeeper中而是在kafka中存储偏移量,还是这是kafka中压缩日志/主题的标准设计模式?

sy5wg1nm

sy5wg1nm1#

合流模式注册表的使用不会以任何方式影响使用者偏移量的处理方式。
在kafka版本0.9和更高版本(即“新消费者”api)中,消费者偏移量存储在一个名为 __consumer_offsets .
对于压缩主题和常规主题,kafka中消费者补偿的存储是相同的。

4bbkushb

4bbkushb2#

新的高级消费者不会将补偿存储在zookeeper中。你可以查看这个链接https://cwiki.apache.org/confluence/display/kafka/kafka+0.9+consumer+rewrite+design

相关问题