重启jobmanager时如何保存apache flink任务和提交记录

qnzebej0 于 2021-06-26 发布在 Flink

关注(0)|答案(1)|浏览(499)

我使用ApacheFlink1.10批量计算流数据，今天我将ApacheFlinkKubernetes（v1.15.2）pod从机器1移动到机器2，发现所有提交任务记录和任务列表都消失了，发生了什么？最高纪录在记忆里？重新启动apacheflink的kubernetes pod时，我应该保留什么提交记录和任务列表？我只是发现检查点是持久的，但对任务却一无所知。
如果丢失了正在运行的任务历史记录，我必须上传我的任务jar并重新创建所有的任务，那么许多任务都需要重新创建如果丢失了历史记录，有没有可能自动恢复任务？

apache-flink

来源：https://stackoverflow.com/questions/61520831/how-to-keep-apache-flink-task-and-submit-record-when-restart-jobmanager

1条答案

按热度按时间

b0zn9rqh1#

可能无法设置的配置包括：
工作经理

jobmanager.archive.fs.dir: hdfs:///completed-jobs

历史服务器


# Monitor the following directories for completed jobs

historyserver.archive.fs.dir: hdfs:///completed-jobs

# Refresh every 10 seconds

historyserver.archive.fs.refresh-interval: 10000

更多详情请参见：https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/historyserver.html#configuration

赞(0）回复(0）举报 2021-06-26

我来回答

重启jobmanager时如何保存apache flink任务和提交记录

1条答案

相关问题

热门标签

最新问答