spark结构化流媒体:为每个微批使用kafka主题中的所有数据

l7mqbcuq  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(256)

我不知道我是不是在问自己解决问题的方法不对。
我的想法是,我必须从Kafka那里获取两个主题的两个数据源。其中一个,每一个微批次都要带上所有的内容物。举个例子,我每10分钟就有一个微批处理,这个主题随着Kafka自己的更新而增长。如果在第一个瞬间,从0到10,消费“a”和“b”,在下一个瞬间,从10到20,输入“c”并且有“a”、“b”和“c”数据,我想消费“a”、“b”和“c”。目前,斯帕克打算回国
第0批:“a”和“b”
第1批:“c”
有什么想法吗?
谢谢你抽出时间。问候语,

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题