在spark submit执行期间在spark类路径中加载属性文件

9avjhtql  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(346)

我正在spark提交脚本中安装spark atlas连接器(https://github.com/hortonworks-spark/spark-atlas-connector)由于安全限制,我无法将atlas-application.properties放在spark/conf存储库中。
我在spark submit中使用了两个选项:

--driver-class-path  "spark.driver.extraClassPath=hdfs:///directory_to_properties_files" \
--conf "spark.executor.extraClassPath=hdfs:///directory_to_properties_files" \

在启动spark submit时,我遇到了以下问题:

20/07/20 11:32:50 INFO ApplicationProperties: Looking for atlas-application.properties in classpath
20/07/20 11:32:50 INFO ApplicationProperties: Looking for /atlas-application.properties in classpath
20/07/20 11:32:50 INFO ApplicationProperties: Loading atlas-application.properties from null

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题