无法使用flink 1.5群集提交作业

w8rqjzmb  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(447)

为了从Flink1.3.2迁移到1.5,我们部署了kubernetes集群。一切工作与1.3.2良好,但我不能提交作业与1.5。当我尝试这样做时,我只看到微调器无限旋转,通过restapi也是如此。我甚至不能提交wordcount示例作业。似乎我的TaskManager无法连接到jobmanager,我可以在flink ui中看到它们,但在日志中看到它们
level=warn akka.remote.transport.netty.nettytransport-org.apache.flink.shaded.akka.org.jboss.netty.channel.connecttimeoutexception:连接超时:flink-jobmanager-nonprod-2.rpds.svc.cluster.local/25.0.84.226:6123
级别=warn akka.remote.reliabledeliverysupervisor-与远程系统的关联[akka。tcp://flink@flink-jobmanager-nonprod-2.rpds.svc.cluster.local:6123]失败,地址现在为[50]ms。原因:[与[akka]关联失败。tcp://flink@flink-jobmanager-nonprod-2.rpds.svc.cluster.local:6123]]原因:[远程服务器没有响应出站关联。关联在[20000毫秒]后超时。]
level=warn akka.remote.transport.netty.nettytransport-org.apache.flink.shaded.akka.org.jboss.netty.channel.connecttimeoutexception:连接超时:flink-jobmanager-nonprod-2.rpds.svc.cluster.local/25.0.84.226:6123
但我可以从一个任务经理到另一个任务经理进行远程登录
而且,如果我在集群模式下启动flink(jobmanager+taskmanager),所有的东西都可以在本地工作。在1.5文档中,我找到了mode选项,它在flip6和legacy(默认的flip6)之间切换模式,但是如果我设置mode:legacy,我根本看不到我的任务管理器注册。
关于k8s部署和1.5我需要做些什么?我检查了1.5k8s配置,它看起来和我们的非常相似,但是我们使用了flink的定制docker映像(security,ha,checkpointing)
谢谢您。

jqjz2hbq

jqjz2hbq1#

jobmanage连接的问题。jobmanager docker映像无法连接到“flink jobmanager”(${job\u manager\u rpc\u address})地址。
只需使用afilichkin/flink-k8s docker,而不是flink:latest
我已经通过向jobmanager docker添加新主机来修复它。你可以在我的github项目中看到它
https://github.com/aleksandr-filichkin/flink-k8s/tree/master

相关问题