全局设置Kafka保留策略(而不是每个主题)

yb3bgrhw  于 5个月前  发布在  Apache
关注(0)|答案(1)|浏览(57)
  • 我努力实现的目标:

我想在全球范围内对Kafka应用保留策略,而不是针对每个主题。
我有一个测试Kafka集群,其中有数千个测试主题。主题保存测试消息,供Assert器使用。
我为所有主题配置了这个:“对于所有主题,消息最多只能在主题中停留一个小时。”

  • 我尝试了什么:

到目前为止,我在每个主题的基础上设置保留期。这意味着,当我创建主题时,我手动配置每个主题(数千个主题),设置一小时后的过期时间。

  • 发行日期:

由于我们有超过数千个主题,因此为每个主题设置过期时间的任务非常难以管理。有没有一种方法可以一次性配置Kafka,以便默认情况下,所有主题的所有消息都在一小时后过期?

hzbexzde

hzbexzde1#

您可以使用以下属性在Kafka Brocker属性级别上设置:

log.retention.hours

在删除日志文件之前保留该文件的小时数(以小时为单位),在log.retention.ms属性中处于第三位
类型:int

默认值:168(约7天)

日志保留分钟数

删除日志文件之前保留日志文件的分钟数(分钟),从属于log.retention.ms属性。如果未设置,则使用log.retention.hours中的值

相关问题