从spark 2.3上的spark上下文动态访问配置单元配置

w3nuxt5m 于 2021-06-27 发布在 Hive

关注(0)|答案(1)|浏览(361)

我正在使用spark2.3（启用了配置单元支持），我想在运行时访问和设置一些配置单元配置的值，例如 "hive.exec.max.dynamic.partitions" .
如果我想从你那里得到这些 spark.conf 对象，即使设置了它们，我也找不到它们，因为我的代码稍后会失败，因为我抱怨动态分区的最大数量设置为2000（我在集群的配置单元设置中找到的默认值）
有没有办法在运行时访问配置单元配置？

Hive apache-spark

来源：https://stackoverflow.com/questions/53934990/dynamically-access-hive-configs-from-spark-context-on-spark-2-3