kafka在从单个分区读取时不创建使用者组

f87krz0w  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(158)

我阅读Kafka使用Spark结构化流,下面是我的阅读流

val inputDf = spark.readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", brokers)
 //.option("subscribe", topic)
 .option("assign"," {\""+topic+"\":[0]}") 
  .option("startingOffsets", "earliest")
  .option("maxOffsetsPerTrigger", 60000)
  .load()

我试图在kafka中使用below kafka命令查看我的消费者组。我注意到,当我只从单个分区读取时,它不会创建任何消费者组,但当我从主题读取时(在我的例子中,主题有3个分区),它不会显式地提到分区,而是创建消费者组。这是预期的行为吗?如果是,那为什么?

./kafka-consumer-groups.sh --bootstrap-server kfk01.sboxdc.com:9092,kfk02.sboxdc.com:9092,kfk03.sboxdc.com:9092 --list

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题