原因:java.lang.noclassdeffounderror:org/apache/spark/internal/logging$class

koaltpgm  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(296)

尝试使用delta lake时在jupyter lab上的Pypark上运行,运行代码后出现此错误:

spark.sql("CREATE TABLE events USING DELTA LOCATION '/mnt/delta/events/'")

我已经确保我的scala版本与sparkshell和pyspark保持一致
这是pyspark版本:使用scala版本2.12.10,javahotspot(tm)64位服务器vm,14.0.2
这是sparkshell版本:使用scala版本2.12.10,javahotspot(tm)64位服务器vm,14.0.2
我的spark会话配置如下:`

spark = pyspark.sql.SparkSession.builder.appName("MyApp") \
.config("spark.jars.packages", "io.delta:delta-core_2.12:0.1.0") \
.config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
.config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
.getOrCreate()

我已经用了24小时了,找不到解决办法。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题