flink异步流处理异常处理用于将来某个时候重播消息

yjghlzjz  于 2021-06-21  发布在  Flink
关注(0)|答案(0)|浏览(195)

服务将需要调用几个外部api来丰富数据流,因此在我们的示例中将使用async/ioapi。
如果出现任何异常,我们希望将事件捕获到接收器,并有选择地将消息重放到flink以重试。
我们可以控制动觉,动觉允许重放信息长达7天,延长数据保留时间,但不是选择性的,我们希望保留更长的时间
我们正在考虑将异常流的边输出和保存到单独的接收器。是否有一种机制可以用最少的手动工作将数据从接收器拉到动觉?我们还没有决定用什么Flume。有没有更好的解决方案或建议?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题