我是scala新手，我们计划用scala/spark实现一个新的应用程序。有没有一种方法可以让我们有一个类似于springcloud配置服务器的外部属性文件？
5us2dqdw1#
我想“外部”是指在不同的服务器上。参考文献：https://spark.apache.org/docs/latest/configuration.html#loading-默认配置目前还没有内置支持，但有两种选择：作为“前一步”，将配置文件下载到 SPARK_CONF_DIR 在主机上，在 spark-submit （或使用） --properties-file customconfig.conf 作为一个论据 spark-submit )在应用程序中编写一个自定义入口点，从外部服务器请求文件并使用properties.load加载
SPARK_CONF_DIR
spark-submit
--properties-file customconfig.conf
1条答案
按热度按时间5us2dqdw1#
我想“外部”是指在不同的服务器上。
参考文献：https://spark.apache.org/docs/latest/configuration.html#loading-默认配置
目前还没有内置支持，但有两种选择：
作为“前一步”，将配置文件下载到
SPARK_CONF_DIR在主机上，在spark-submit（或使用）--properties-file customconfig.conf作为一个论据spark-submit)在应用程序中编写一个自定义入口点，从外部服务器请求文件并使用properties.load加载