这个问题在这里已经有答案了:
解决apachespark中的依赖性问题(7个答案)
两年前关门了。
我使用spark2.3结构化流媒体读取kafka 1.0数据,完全遵循文档的要求,但出现了一个异常:
Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.TopicPartition`
我用的唯一一个和Kafka有关的jar是 spark-sql-kafka-0-10_2.11-2.3.0.jar
正如医生所说。
3条答案
按热度按时间sycxhyv71#
尽管文档中说要添加您已经添加的依赖项,但是您可能还需要添加以下依赖项。
它解决了我的一些问题。
ps:我知道第二个依赖是spark流,而不是结构化流,但值得一试。
plupiseo2#
您还必须在项目中添加此库
org.apache。kafka:kafka-clients:0.10.0.0
Maven:
sbt公司:
海报找到的解决方案
添加Kafka-clients:0.10.0.0.jar to hdfs代替$spark\u home/jars/
wqlqzqxt3#
班级
TopicPartition
缺少,它位于此依赖项中:另外一个常见问题是在运行spark submit时需要添加此选项:
--packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.0