流应用程序的时间序列窗口

xfyts7mz  于 2021-06-24  发布在  Storm
关注(0)|答案(1)|浏览(246)

我们正在使用kafka、storm和redis开发数据管道应用程序。来自不同系统的实时事件将发布到kafka和storm,并根据配置的规则进行事件处理。状态在redis中管理。
我们需要在处理不同的事件之前实现不同的等待时间。我们正在研究以下选项。
我们最初研究了风暴窗口(滑动或翻滚窗口),但只提供了配置固定间隔的选项。我们需要根据规则改变等待时间
我们正在探索在redis缓存中以不同的持续时间(ttl)存储事件的其他方法,一旦每个事件被逐出,我们需要回调到storm来处理它。
redis支持逐出回调吗?有没有更好的方法来处理storm和redis?

mdfafbf1

mdfafbf11#

我们通过计算每个流媒体事件的过期时间来解决这个问题&根据过期时间[过期为键]将事件存储在redis中,top storm scheduler将查询符合逐出条件的事件并对其进行处理。

相关问题