根据Kafka消息的时间戳对其进行排序

guicsvcw  于 2021-07-15  发布在  Kafka
关注(0)|答案(0)|浏览(294)

我们有一种情况,我们有Kafka信息的相同类型,这是稍微在错误的顺序。例如,kafka主题有以下消息,每个消息都有创建时间戳:
消息x,2021-04-26t19:16:16.010
信息y,2021-04-26t19:16:16.030
消息z,2021-04-26t19:16:16.020
由于生成消息的方式,消息z位于第三个位置,但基于创建时间戳,应该位于第二个位置(在消息y之前)。错误的顺序仅适用于消息,例如,在1秒的时间范围内。
我们有一个要求,Kafka消息是按照它们的时间戳的顺序被消费的。
一种可能的解决方案是,使用消息,将它们快速缓存在某种持久性存储中(足够长的时间来收集上述时间范围内的所有消息),然后按正确的顺序将它们推入另一个kafka主题。
但我想知道,是否会有一个“Kafka方式”这样做。没有永久存储器的。这种消息的重新排序可以用kafka或kafka流来完成吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题