set hive.exec.dynamic.partition.mode=nonstrict in sparklyr

gj3fmq9x  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(328)

我试图通过spark使用sparkyr将rDataframe附加到已经创建的配置单元表(带有分区列)。为了做到这一点,我首先把rDataframe变成了SparkDataframe使用 copy_to() 然后我用 spark_write_table()mode=append 但出现了一个错误: org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict 在我使用这个函数示例化连接器之前,我已经尝试在spark\u config()中设置这个选项

conf <- spark_config()
conf$spark.sql.hive.exec.dynamic.partition <- TRUE
conf$spark.sql.hive.exec.dynamic.partition.mode <- 'nonstrict'

但它也不起作用,我得到同样的错误。如果我查一下 hive_context_config(sc) 选项似乎设置正确。
一旦连接器已经被示例化(比如pyspark),有没有什么方法可以直接设置配置单元上下文,或者如何解决这个问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题