ksql窗口查询的工作原理和最大窗口大小

zour9fqk  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(434)

关于使用窗口的ksql wrt查询,我有两个问题:
假设我有以下聚合查询:
从testtopic\u stream window tumbling(size 30 days)group by id中选择id,count(*);
上面的汇总结果是只使用新的勾号来计算的,还是它实际会检查过去30天的所有数据,然后执行汇总?
查询的最大可能窗口大小是多少?我看到我可以设置一个窗口,甚至像30天,查询似乎工作良好,现在。是否有建议的最大窗口大小?

de90aj5v

de90aj5v1#

这取决于 auto.offset.reset 战略。如果你把它设成 "earliest" ,查询将使用来自底层流/主题的所有数据(注意,“all”实际上是指存储在主题中的所有数据,即,它取决于主题保留设置这将是多少数据)。如果您将配置设置为 "latest" --默认情况是什么——查询只处理上游生产者在查询启动后编写的数据。
在这两种情况下,窗口的大小对要处理的数据没有影响。
窗口大小没有限制。你可以选择任何你想要的尺寸。注意:对于滚动窗口,较小的窗口大小实际上增加了存储需求,而较大的窗口大小则减少了存储需求,因为需要并行维护的窗口较少。

相关问题