spark cassendra yugabyte连接器问题从表中获取记录

vjhs03f7  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(251)

例如,下面是我的代码:

spark = SparkSession.builder.appName('SparkCassandraApp')\
    .config('spark.cassandra.connection.host', 'xx.xx.xx.xx') \
    .config('spark.cassandra.connection.port', '9042') \
    .config("spark.cassandra.auth.username","username")\
    .config("spark.cassandra.auth.password","password")\
    .getOrCreate()
df = spark.read.format("org.apache.spark.sql.cassandra").option("table","local").option( "keyspace","system").load().select('host_id')
df.show()

获取以下错误:
error executor.executor:第0.0阶段任务0.0中出现异常(tid 0)java.io.ioexception:准备从“system”中选择“host\u id”时出现异常。“local”where token(“key”)<?允许过滤:org/apache/spark/sql/catalyst/package$scalareflectionlock$位于com.datastax.spark.connector.rdd.cassandratablescanrdd.createstatement(cassandratablescanrdd)。scala:323)
我在用
spark版本:2.4.6
scala版本:2.11.12
spark cassendra-连接器spark-cassandra-connector_2.11-2.0.5-yb-2.jar

w41d8nur

w41d8nur1#

对于spark 2.4.x,您需要使用spark cassandra connector 2.4.3或新发布的2.5.0。spark cassandra连接器仅与spark 2.0-2.2兼容。请参见兼容性矩阵。
请参阅有关如何将scc 2.5.0与pyspark一起使用的说明。

相关问题