Kafka:根据延迟自动调整保留率

mzaanser  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(253)

假设我编写了一个从物联网设备收集数据的应用程序,并让我的客户通过向我提供他们的http端点凭据来订阅这些数据。
我必须处理他们的端点不响应或速度慢,然后我将缓冲消息,直到发送(消费),这将需要存储。
为了限制这个存储空间,我想知道是否可以观察我的消费者的延迟,当它达到一个阈值时,会自动增加主题租用(稍后会自动减少)
这将帮助我在默认情况下设置一个短的保留期,并且能够在不丢失消息的情况下处理不可用的外部端点(当然,如果滞后持续增长,我将不得不采取其他行动)。
我的问题是,Kafka有这种可能吗?这样做的时候,有什么东西是我应该带的吗?
非常感谢

cgh8pdjw

cgh8pdjw1#

您可以通过kafka命令行工具调整主题的保留时间:

bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name test --alter --add-config  retention.ms=55000

或者如果你想在你的代码里做,看看 TopicCommand 班级。

相关问题