foreachbatch是否是动作操作符

vfh0ocws  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(147)

下面的代码引用自spark官方网站,展示了如何使用foreachbatch将Dataframe保存到多个位置。
但是foreachbatch是否是一个动作操作符?(foreach是一个动作操作符)。似乎“save”操作是由write操作符触发的。

streamingDF.writeStream.foreachBatch { (batchDF: DataFrame, batchId: Long) =>
  batchDF.persist()
  batchDF.write.format(...).save(...)  // location 1
  batchDF.write.format(...).save(...)  // location 2
  batchDF.unpersist()
}

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题