beam jar无法在远程flink集群上运行

xtupzzrd  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(369)

使用梁2.6和flink 1.5.3运行测试。梁运行本地Flink转轮没有问题。但无法在flink群集上运行。尝试mvn和flink提交作业。使用mvn运行时,我使用了:

mvn clean package -Pflink-runner exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount -Dexec.args="--runner=FlinkRunner --flinkMaster=c2:6123 --filesToStage=target/word-count-beam-bundled-0.1.jar"

这导致请求blob服务器端口时出现问题,无法继续
2018年9月21日上午11:47:38 org.apache.zookeeper.clientcnxn$sendthread logstart连接信息:打开到服务器192.168.0.12/192.168.0.12:2181的套接字连接。不会尝试使用sasl(未知错误)2018年9月21日上午11:47:38 org.apache.zookeeper.clientcnxn$sendthread primeconnection info:套接字连接已建立到192.168.0.12/192.168.0.12:2181,启动会话9月21日,2018 11:47:38 am org.apache.zookeeper.clientcnxn$sendthread onconnected info:在服务器192.168.0.12/192.168.0.12:2181上完成会话建立,sessionid=0x165adfcd9104b,协商超时=90000 2018-09-21 11:47:38信息连接管理器$hconnectionimplementation:2155 - 关闭主协议:masterservice 2018-09-21 11:47:38信息连接管理器$hconnectionimplementation:1712 - 关闭zookeeper sessionid=0x165adfcdcd9104b 9月21日,2018年9月21日上午11:47:38 org.apache.zookeeper.clientcnxn$eventthread运行信息:eventthread关闭2018年9月21日上午11:47:38 org.apache.zookeeper.zookeeper关闭信息:会话:0x165adfcd9104b关闭9月21日,2018年11:47:39 am org.apache.flink.client.program.rest.restclusterclient submitjob信息:提交作业aa366f2bd4bf3ddab47c1a890c84256(分离:false)。2018年9月21日上午11:47:39 org.apache.flink.client.program.rest.restclusterclient submitjob信息:请求blob服务器端口。
使用flink直接提交作业时,请使用:

$FLINK_HOME/bin/flink run -c org.apache.beam.examples.WordCount target/test-beam-bundled-0.1.jar --runner=FlinkRunner --flinkMaster=c2:6123  --filesToStage=target/word-count-beam-bundled-0.1.jar

它引发以下异常:
程序已完成,但出现以下异常:
在预定义的上下文(如命令行客户端、scala shell、,或者testenvironment)org.apache.flink.api.java.remoteenvironment.(远程环境)。java:126)org.apache.flink.api.java.remoteenvironment.(远程环境。java:86)org.apache.flink.api.java.executionenvironment.createremoteenvironment(executionenvironment。java:1168) org.apache.beam.runners.flink.flinkexecutionenvironments.createbatchexecutionenvironment(flinkexecutionenvironments)。java:58)org.apache.beam.runners.flink.flinkpipelineexecutionenvironment.translate(flinkpipelineexecutionenvironment)。java:93)org.apache.beam.runners.flink.flinkrunner.run(flinkrunner。java:110) org.apache.beam.sdk.pipeline.run(管道。java:313)org.apache.beam.sdk.pipeline.run(管道。java:299)
你知道吗?

vqlkdk9b

vqlkdk9b1#

我发现这是梁版本的问题。beam java sdk只能与flink 1.5.1一起使用。flink1.5.2+中有一个变化,blob上传方法也发生了变化。beam无法通过flink blob rest api加载jar。

相关问题