关于使用窗口的ksql wrt查询,我有两个问题:
假设我有以下聚合查询:
从testtopic\u stream window tumbling(size 30 days)group by id中选择id,count(*);
上面的汇总结果是只使用新的勾号来计算的,还是它实际会检查过去30天的所有数据,然后执行汇总?
查询的最大可能窗口大小是多少?我看到我可以设置一个窗口,甚至像30天,查询似乎工作良好,现在。是否有建议的最大窗口大小?
关于使用窗口的ksql wrt查询,我有两个问题:
假设我有以下聚合查询:
从testtopic\u stream window tumbling(size 30 days)group by id中选择id,count(*);
上面的汇总结果是只使用新的勾号来计算的,还是它实际会检查过去30天的所有数据,然后执行汇总?
查询的最大可能窗口大小是多少?我看到我可以设置一个窗口,甚至像30天,查询似乎工作良好,现在。是否有建议的最大窗口大小?
1条答案
按热度按时间de90aj5v1#
这取决于
auto.offset.reset
战略。如果你把它设成"earliest"
,查询将使用来自底层流/主题的所有数据(注意,“all”实际上是指存储在主题中的所有数据,即,它取决于主题保留设置这将是多少数据)。如果您将配置设置为"latest"
--默认情况是什么——查询只处理上游生产者在查询启动后编写的数据。在这两种情况下,窗口的大小对要处理的数据没有影响。
窗口大小没有限制。你可以选择任何你想要的尺寸。注意:对于滚动窗口,较小的窗口大小实际上增加了存储需求,而较大的窗口大小则减少了存储需求,因为需要并行维护的窗口较少。