我有一个spark的工作，就是给cassandra写数据（cassandra在gcp上）。当我从intellijidea（我的ide）运行它时，它工作得非常好。数据被完美地发送和写入Cassandra。然而，当我将我的项目打包到一个胖jar中并运行它时，这就失败了。
下面是一个如何运行它的示例。
spark-submit --class com.testing.Job --master local out/artifacts/SparkJob_jar/SparkJob.jar 1 0但是，这对我来说是失败的，并且给了我以下错误
Caused by: java.io.IOException: Failed to open native connection to Cassandra at {X.X.X:9042} :: 'com.datastax.oss.driver.api.core.config.ProgrammaticDriverConfigLoaderBuilder com.datastax.oss.driver.api.core.config.DriverConfigLoader.programmaticBuilder()'
Caused by: java.lang.NoSuchMethodError: 'com.datastax.oss.driver.api.core.config.ProgrammaticDriverConfigLoaderBuilder com.datastax.oss.driver.api.core.config.DriverConfigLoader.programmaticBuilder()'我的工件文件包括spark cassandra文件
spark-cassandra-connector-driver_2.12-3.0.0-beta.jar
spark-cassandra-connector_2.12-3.0.0-beta.jar我想知道为什么会发生这种情况，我怎么能解决它？
1条答案
按热度按时间tf7tbtn21#
问题是，除了这两件事之外，还需要更多的jars-FullJava驱动程序及其依赖项。您可以通过以下方式解决此问题：
您需要确保使用maven或sbt或其他任何东西将这些工件打包到结果jar（所谓的“fat jar”或“assembly”）中
可以指定maven坐标
com.datastax.spark:spark-cassandra-connector_2.12:3.0.0-beta与--packages这样地--packages com.datastax.spark:spark-cassandra-connector_2.12:3.0.0-beta您可以将spark cassandra连接器组件工件下载到您正在执行的节点spark-submit，然后将该文件名与--jars有关更多详细信息，请参阅spark cassandra连接器的文档。