关于flume kafka源的问题

k97glaaz  于 2021-06-04  发布在  Flume
关注(0)|答案(1)|浏览(277)

当我使用flume代理从kafka源代码获取数据,并将数据写入 HDFS ,但有些主题效果不佳。的版本 Kafkakafka_2.11-0.8.2.1 . 所以,我运行命令 bin/kafka-topics.sh --zookeeper zk:port/kafka -- 描述一下,结果是
主题:消费者tioncount:50 replicationfactor:3 configs:segment.bytes=104857600,cleanup.policy=压缩
主题:\用户\偏移分区:0引线:2副本:2,3,1 isr:2,3,1主题:\用户\偏移分区:1引线:3副本:3,1,2 isr:3,1,2
...
主题:\消费者\偏移分区:48领导者:2副本:2,3,1 isr:2,3,1主题:\消费者\偏移分区:49领导者:3副本:3,1,2 isr:3,1,2
topic:uniformauthtopic partitioncount:3个副本ionfactor:3 configs:主题:uniformauthtopic分区:0引线:3副本:3,2,1 isr:3,2,1主题:uniformauthtopic分区:1引线:1副本:1,3,2 isr:1,3,2主题:uniformauthtopic分区:2引线:2副本:2,1,3 isr:2,1,3
“消费者补偿”这个主题是什么意思?嗯,我执行命令 bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk:port/kafka --group flume --topic uniformAuthTopic 组主题pid偏移量
logsize lag owner flume统一格式主题0 14737892 20069753 5331861
Flume_bj-cuadc-xhm-4f03-p7-hs22-客户_a-01-1457010084974-e9d501b9-0Flume统一主题1 14925444
20584430 5658986
Flume_bj-cuadc-xhm-4f03-p7-hs22-客户_a-01-1457010084974-e9d501b9-0Flume统一主题2 21086401
21086988 587
渡槽bj-yz302-f11-r720-8-1457492175405-54ad44d1-0
pid 0和pid 1的所有者是错误的,我不知道为什么所有者改变了。请原谅我的蹩脚英语!

vptzau2j

vptzau2j1#

_consumer_offsets 是一个用于跟踪使用者提交的特殊主题。这些过去保存在zookeeper中,但现在保存在这个主题中。根据文件:
当offset管理器收到offsetcommitrequest时,它会将请求附加到一个名为\uu consumer\u offset的特殊压缩kafka主题。

相关问题