apache beam python单词计数示例对于带有beamioerror的flink runner失败

q3qa4bjr  于 2021-06-21  发布在  Flink
关注(0)|答案(2)|浏览(537)

我正在使用portablerunner在apache的flink上运行ApacheBeamPython字数计算示例,通过docker使用sdk harness/job服务器。
使用构建sdk线束容器 ./gradlew -p sdks/python/container docker . 但在对创建的图像执行docker pull时,会出现以下错误:
使用默认标记:来自守护程序的最新错误响应:get https://$userid docker-apache.bintray.io/v2/:x509:证书对*.bintray.io、bintray.io有效,而不是$userid docker-apache.bintray.io
已使用成功启动flink portable jobservice终结点 ./gradlew beam-runners-flink_2.11-job-server:runShadow .
但是,在尝试使用以下命令和portablerunner运行wordcount示例时,

python -m apache_beam.examples.wordcount --input=local_input_file --output=local_output_file --job_endpoint=localhost:8099 --experiments beam_fn_api --runner=PortableRunner

它给出了以下错误:
ioerror为“runtimeerror:ioerror:[errno 2]没有这样的文件或目录:'/beam-temp-output-b6d55cb671ef11e9be2f025000001/3ce015aa-78ee-4bfa-be17-120de259e690.output'[在运行'write/writeimpl/finalizewrite'时]”
使用directrunner而不是portablerunner运行可以让它工作得很好!任何关于如何让wordcount通过docker与portablerunner一起工作的提示都将不胜感激。

wixjitnu

wixjitnu1#

您是否尝试指定存储库名称并从中提取(使用-pdocker存储库根目录)
像这样:
“/gradlew-pdocker repository root=gcr.io/some_name_here-p sdks/go/container docker”

lfapxunr

lfapxunr2#

我也遇到了同样的问题。试试这个:

./gradlew docker

此处为相关文档

相关问题