ApacheKafka—我们是否可以选择从特定的时间段/时间戳获取ksql流中的数据

tquggr8v  于 2021-06-05  发布在  Kafka
关注(0)|答案(1)|浏览(439)

我知道,在ksql中,我们可以将偏移量设置为最早或最晚,但我们是否可以从特定时间段获取数据,即我需要从2020年5月6日获取插入主题的数据?

carvr3hs

carvr3hs1#

在ksqldb中,您可以从头开始查询( SET 'auto.offset.reset' = 'earliest'; )或者主题的结尾( SET 'auto.offset.reset' = 'latest'; ).
当前不能(0.8.1/cp 5.5)搜索任意偏移量。
你可以从最早的偏移量开始,然后使用 ROWTIME 在 predicate 中标识符合需求的消息。

SELECT * 
  FROM MY_SOURCE_STREAM 
WHERE  ROWTIME>=1588772149620

请注意,这会按顺序扫描,因此取决于主题中的数据量可能不会特别快。

相关问题