kafka监测

cidc1ykv  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(294)

用地洞监视Kafka的时候
1) 主题分区中给定消费者组的burrow开始和结束偏移意味着什么?我找不到这方面的任何文件。
Kafka的术语是什么?Kafka术语:上次提交偏移量、当前偏移量、高水位线偏移量、日志结束偏移量。burrow的起点和终点偏移Map到什么?是Kafka海流偏移和Kafka高水位线偏移吗?
例如。 http://localhost:8000/v2/kafka/local/consumer/MyGroup-1-4/lag ```
{
"error":false,
"message":"consumer group status returned",
"status":{
"cluster":"local",
"group":"MyGroup-1-4",
"status":"ERR",
"complete":false,
"partitions":[
{
"topic":"MyTopicTest-1",
"partition":1,
"status":"OK",
"start":{
"offset":28,
"timestamp":1468769616468,
"lag":0
},
"end":{
"offset":34,
"timestamp":1468805045000,
"lag":0
}
},
{
"topic":"MyTopicTest-1",
"partition":3,
"status":"STOP",
"start":{
"offset":32,
"timestamp":1468803763000,
"lag":0
},
"end":{
"offset":32,
"timestamp":1468804303000,
"lag":0
}
},
{
"topic":"MyTopicTest-1",
"partition":4,
"status":"OK",
"start":{
"offset":32,
"timestamp":1468804003000,
"lag":0
},
"end":{
"offset":33,
"timestamp":1468804783000,
"lag":0
}
},
{
"topic":"MyTopicTest-1",
"partition":5,
"status":"STOP",
"start":{
"offset":32,
"timestamp":1468803763000,
"lag":0
},
"end":{
"offset":32,
"timestamp":1468804303000,
"lag":0
}
},
{
"topic":"MyTopicTest-1",
"partition":6,
"status":"OK",
"start":{
"offset":33,
"timestamp":1468804423000,
"lag":0
},
"end":{
"offset":34,
"timestamp":1468805045000,
"lag":0
}
},
{
"topic":"MyTopicTest-1",
"partition":7,
"status":"OK",
"start":{
"offset":27,
"timestamp":1468769387995,
"lag":0
},
"end":{
"offset":33,
"timestamp":1468804783000,
"lag":0
}
},
{
"topic":"MyTopicTest-1",
"partition":9,
"status":"OK",
"start":{
"offset":27,
"timestamp":1468769433946,
"lag":0
},
"end":{
"offset":33,
"timestamp":1468804783000,
"lag":0
}
}
],
"partition_count":10,
"maxlag":null,
"totallag":0
},
"request":{
"url":"/v2/kafka/local/consumer/MyGroup-1-4/lag",
"host":"****",
"cluster":"local",
"group":"MyGroup-1-4",
"topic":""
}
}

2) 某些状态被标记为已停止。将状态标记为已停止的burrow规则是:如果当前时间和最近偏移的时间之间的差异大于窗口中最近偏移和最旧偏移之间的差异,则使用者处于错误状态,并且分区被标记为已停止。但是,如果分区的使用者偏移量和当前代理偏移量相等,则不认为分区有错误。
什么是“现在”?是延迟请求发送到burrow的时间吗
vuv7lop3

vuv7lop31#

1) 主题分区中给定消费者组的burrow开始和结束偏移意味着什么?我找不到这方面的任何文件。
这两个偏移量表示logcheck求值窗口中的开始偏移量和结束偏移量(使用者提交的偏移量)。默认窗口将存储10个偏移,并用于评估消费者滞后。请参考下图和链接。
burrow:Kafka消费者监控的革新

2、“现在”是什么?是延迟请求发送到burrow的时间吗?
“现在时间”是指当前的“检查间隔”。您可以在示例5中获得更详细的示例。
存储的第一个偏移量和存储的最后一个偏移量之间的时间差为540秒,现在和存储的最后一个偏移量之间的时间差为660秒。使用者已停止提交偏移量,这意味着它已失败或已停止。

相关问题