在emr上运行带有flinkYarn会话的梁式管道

baubqpgj  于 2021-06-21  发布在  Flink
关注(0)|答案(0)|浏览(255)

我正在尝试运行一个基本的wordcount beam管道,它来自pythonsdk,在aws emr上有一个flink-yarn会话。我使用了flink runner和portable runner,得到了下面列出的两个不同错误。两种跑步者的作业都出现在flink ui中,并在我的笔记本电脑上通过本地flink会话成功运行。
对于flinkrunner,作业以beamapp-hadoop-0617202523-14894e58运行,并给出错误:

ERROR:root:java.lang.NoClassDefFoundError: Could not initialize class org.apache.beam.runners.core.construction.SerializablePipelineOptions

对于portablerunner,作业作为beamapp-root-0617202248-36b0d306运行(我相信这意味着它正在从beam portablerunner docker映像成功提交作业),并给出错误:

ERROR:root:java.util.ServiceConfigurationError: com.fasterxml.jackson.databind.Module: Provider com.fasterxml.jackson.module.jaxb.JaxbAnnotationModule not a subtype

我假设这些是依赖性错误,并尝试在/usr/lib/flink/lib目录中获取提到的jar。yarn容器日志在应用程序启动时记录类路径时列出了正确的jar,但是错误仍然存在。
apache beam版本2.22.0、flink版本1.10.0、emr版本5.30.0。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题