Python+光束+Flink

vshtjzan  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(289)

我一直在尝试让apachebeam可移植性框架与python和apacheflink一起工作,但似乎找不到一套完整的指令来让环境工作。有没有任何参考资料,其中有完整的先决条件和步骤列表,可以让一个简单的python管道正常工作?

ryoqjall

ryoqjall1#

总的来说,对于local portable runner(ulr),请参阅wiki,引用自:
运行python sdk管道:
将容器编译为本地生成: ./gradlew :beam-sdks-python-container:docker 启动ulr作业服务器,例如: ./gradlew :beam-runners-reference-job-server:run -PlogLevel=debug -PvendorLogLevel=warning . 有关详细信息,请参阅上面链接中的java部分。3正确设置python环境。更多细节可以在这里找到。
使用以下命令运行管道(在sdk/python文件夹下),
例子:

python -m apache_beam.examples.wordcount\
  --input=gs://dataflow-samples/shakespeare/kinglear.txt \
  --output=/tmp/output \
  --runner=PortableRunner \
  --job_endpoint=localhost:8099 \
  --experiments beam_fn_api

对于flink,您需要使用不同的作业服务器: ./gradlew beam-runners-flink_2.11-job-server:runShadow . 这个host:port is localhost:8099 ,
相关邮件讨论:一,二。
可能值得看一些代码:一,二。

相关问题