jar依赖项错误

neskvpey  于 2021-06-08  发布在  Kafka
关注(0)|答案(3)|浏览(317)

这个问题在这里已经有答案了

解决apachespark中的依赖性问题(7个答案)
两年前关门了。
我使用spark2.3结构化流媒体读取kafka 1.0数据,完全遵循文档的要求,但出现了一个异常:

Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.TopicPartition`

我用的唯一一个和Kafka有关的jar是 spark-sql-kafka-0-10_2.11-2.3.0.jar 正如医生所说。

sycxhyv7

sycxhyv71#

尽管文档中说要添加您已经添加的依赖项,但是您可能还需要添加以下依赖项。

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>YOUR_KAFKA_VERSION</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
    <version>YOUR_SPARK_VERSION</version>
</dependency>

它解决了我的一些问题。
ps:我知道第二个依赖是spark流,而不是结构化流,但值得一试。

plupiseo

plupiseo2#

您还必须在项目中添加此库
org.apache。kafka:kafka-clients:0.10.0.0
Maven:

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.10.0.0</version>
</dependency>

sbt公司:

libraryDependencies += "org.apache.kafka" % "kafka-clients" % "0.10.0.0"

海报找到的解决方案
添加Kafka-clients:0.10.0.0.jar to hdfs代替$spark\u home/jars/

wqlqzqxt

wqlqzqxt3#

班级 TopicPartition 缺少,它位于此依赖项中:

<dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>0.10.0</version>
    </dependency>

另外一个常见问题是在运行spark submit时需要添加此选项: --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.0

相关问题