我有20个左右的进程在各自的服务器上生成日志（每个进程约500mb），到目前为止，我一直在将这些日志复制到中央服务器，并编写gui和监视直接跟踪这些复制的日志文件。
我设置了kafka，并使用fluent-bit成功地将日志复制到每个服务器的一个分区中，这似乎工作得很好。
在客户端，我有点困惑，因为我只关心每天的数据（我的每个源日志文件的文件名中都有日期）。
在一天结束时删除我所有的Kafka主题通常是一种好的做法吗？我知道kafka内置了每个客户机的偏移量跟踪，但我不想冒任何风险，而且，我也不认为从一开始就引导有什么意义。
另一种方法可能是将日期添加到主题名称？所以我每天要创造20个新主题。我认为这样做的好处是，它几乎可以保证我的数据只针对那一天。此外，前几天的数据也将是可用的，我可以删除这些主题后一周或一个月左右。
我的客户流程包括：
每天从日志中提取数据；每个服务器进程1个图形（总共20个）
将从日志中提取的某些数据插入数据库
监视日志文件中的问题（字符串上的灰显等），并通过自定义gui向用户发出警报
对数据进行一些统计/分析，并生成日终报告
配置gui，它将通过kafka向服务器进程发送配置更改。服务器进程回显更改，以便用户得到确认。这将在日志的单独主题上操作。这个主题可以在服务器进程之间共享，因为进程名被添加到json消息中（这样消费者就知道它是否适合他们）。
或者Kafka可能不是最好的解决方案？