pyspark Spark Structured Streaming的动态过滤器

eanckbw9 于 4个月前发布在 Spark

关注(0)|答案(1)|浏览(52)

我正在进行Spark Streaming项目，目标是创建一个简单的应用程序，当数据流满足条件时通知用户（例如，当股票价格> x时发送通知）。

df = spark.readStream...\
          .filter(col > x)

字符串
然而，我不确定如何解决允许用户在数据仍在流传输时更改条件（例如更改x的值）而不生成冗余消息（旧价格或条件的消息）的问题。
你能帮我用Spark Structured Streaming解决这个问题吗？最好是Python。
太感谢你了！

1条答案

您必须重新启动StreamingQuery以反映x中的更改。如果您已配置checkpointLocation，则StructuredStreaming不会再次处理“旧”消息，请参阅检查点。