kafka direct stream-从检查点还原后可以重新运行已完成的批处理

2ledvvac  于 2021-06-08  发布在  Kafka
关注(0)|答案(0)|浏览(239)

考虑一个场景,在这个场景中,我启用了并发作业,因此我的批处理可以按任何顺序执行,而不是等待前一批处理完成。那么,当驱动程序发生故障时,当t处的批处理仍在执行且t+1处的批处理已完成执行时,会发生什么情况呢。假设启用了检查点,我的作业是否只在时间t为挂起的批启动一个作业?在t+1的时候就不用担心批次了?或者它是否认为t+1时的批次也是不完整的?我对了解这一点很感兴趣,因为我希望流上的输出操作以与输入中相同的顺序写入数据。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题