我一直在尝试让apachebeam可移植性框架与python和apacheflink一起工作,但似乎找不到一套完整的指令来让环境工作。有没有任何参考资料,其中有完整的先决条件和步骤列表,可以让一个简单的python管道正常工作?
ryoqjall1#
总的来说,对于local portable runner(ulr),请参阅wiki,引用自:运行python sdk管道:将容器编译为本地生成: ./gradlew :beam-sdks-python-container:docker 启动ulr作业服务器,例如: ./gradlew :beam-runners-reference-job-server:run -PlogLevel=debug -PvendorLogLevel=warning . 有关详细信息,请参阅上面链接中的java部分。3正确设置python环境。更多细节可以在这里找到。使用以下命令运行管道(在sdk/python文件夹下),例子:
./gradlew :beam-sdks-python-container:docker
./gradlew :beam-runners-reference-job-server:run -PlogLevel=debug -PvendorLogLevel=warning
python -m apache_beam.examples.wordcount\ --input=gs://dataflow-samples/shakespeare/kinglear.txt \ --output=/tmp/output \ --runner=PortableRunner \ --job_endpoint=localhost:8099 \ --experiments beam_fn_api
对于flink,您需要使用不同的作业服务器: ./gradlew beam-runners-flink_2.11-job-server:runShadow . 这个host:port is localhost:8099 ,相关邮件讨论:一,二。可能值得看一些代码:一,二。
./gradlew beam-runners-flink_2.11-job-server:runShadow
localhost:8099
1条答案
按热度按时间ryoqjall1#
总的来说,对于local portable runner(ulr),请参阅wiki,引用自:
运行python sdk管道:
将容器编译为本地生成:
./gradlew :beam-sdks-python-container:docker
启动ulr作业服务器,例如:./gradlew :beam-runners-reference-job-server:run -PlogLevel=debug -PvendorLogLevel=warning
. 有关详细信息,请参阅上面链接中的java部分。3正确设置python环境。更多细节可以在这里找到。使用以下命令运行管道(在sdk/python文件夹下),
例子:
对于flink,您需要使用不同的作业服务器:
./gradlew beam-runners-flink_2.11-job-server:runShadow
. 这个host:port islocalhost:8099
,相关邮件讨论:一,二。
可能值得看一些代码:一,二。