添加kafka jar后,spark无法连接到yarn资源管理器

vuv7lop3  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(333)

我想和Kafka搭讪。以前,spark工作正常,但没有此功能。我安装了 spark-streaming-kafka-spark-streaming-kafka-0-8-assembly jar到我的jars文件夹中,用于spark,现在当我尝试提交任务时

INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); 
retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

工作挂起,而它一直试图连接。我有一个指定资源管理器ip地址的yarn-site.xml,它有

<property>
  <name>yarn.resourcemanager.address.rm1</name>
  <value>my.Server.Name:8032</value>
</property>

因此,似乎是地址被覆盖-我不知道为什么或如何才能防止这一点。
更新:如果我将jar移到jar文件夹之外,并将其包含在--jars中,我就不会有什么问题了。然而,当我试图创建一个直接Kafka流我得到 n error occurred while calling o28.createDirectStreamWithoutMessageHandler. : java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce . 我不确定这是版本不匹配还是什么。

ou6hu8tu

ou6hu8tu1#

我通过将jar升级到正确的版本2.11/2.1.0修复了这个问题。你还需要把它放在spark jars文件夹之外。

相关问题