class org.apache.spark.sql.hive.execution.hivefileformat$$anon$1在尝试向配置单元本机parquet表写入Dataframe时未找到

j5fpnvbx 于 2021-06-25 发布在 Hive

关注(0)|答案(1)|浏览(252)

形态

spark.conf.set('spark.sql.hive.convertMetastoreParquet', "true")

Hive表

spark.sql("create table table_name (ip string, user string) PARTITIONED BY (date date) STORED AS PARQUET")

插入

df.write.insertInto("table_name", overwrite=True)

错误

Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.hive.execution.HiveFileFormat$$anon$1

顺便说一句，插入orc表是好的。以客户机模式在群集上运行。

1条答案

spark config文件夹中是否存在hive-site.xml文件？
编辑：
你能试一下吗

df.write.mode("overwrite").partitionBy("date").saveAsTable("db.table_name")

不必事先设置任何配置，也不必运行SQLCREATE语句。