flink临时jar上载目录已删除

oiopk7p5  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(568)

我最近无法上传任何jar到我的flink集群,运行在aws emr的yarn下。一个长时间运行的流媒体应用程序已经运行了26天。似乎临时目录被删除了,但我真的不认为我删除了它。
jobmanager.log :

2019-02-12 22:02:05,156 WARN  org.apache.flink.runtime.webmonitor.handlers.JarListHandler   - Jar upload dir /tmp/flink-web-94fee1e8-35b9-409f-be97-d86c0f021459/flink-web-upload does not exist, or had been deleted externally. Previously uploaded jars are no longer available.

示例有足够的空间来存储jar。
以下是应用程序状态:

Application-Id : application_1547758510009_0001
Application-Name : Flink session cluster
Application-Type : Apache Flink
User : hadoop
Queue : default
Application Priority : 0
Start-Time : 1547758629234
Finish-Time : 0
Progress : 100%
State : RUNNING
Final-State : UNDEFINED
Tracking-URL : http://ip-cp1.ec2.internal:39975
RPC Port : 39975
AM Host : ip-cp1.ec2.internal
Aggregate Resource Allocation : 43765538005 MB-seconds, 4500338 vcore-seconds
Aggregate Resource Preempted : 0 MB-seconds, 0 vcore-seconds
Log Aggregation Status : NOT_START
Diagnostics : 
Unmanaged Application : false
Application Node Label Expression : <Not set>
AM container Node Label Expression : <DEFAULT_PARTITION>

我也没有设定 jobmanager.web.upload.dir 也不是 jobmanager.web.tmpdir . 在重新创建这个目录之后,我可以通过curl上传到这个目录中(并验证文件是否到达),但是随后列出jar却什么都没有显示。
有人见过这个吗?另外,我现在如何正确地重新创建必要的上传目录?

4si2a6ki

4si2a6ki1#

一些linux发行版定期清理temp目录( /tmp ),也就是说,不只是重启。
您应该将flink配置为使用非临时目录来存储jar。

相关问题