我现在创建了一个sparksession，如下所示：
spark = SparkSession.builder.master("local").appName("myapp").getOrCreate()我想设置spark master的工作目录。它目前正在使用/tmp，我想使用其他东西。
我注意到有一个配置（..）选项，我可以做如下操作：
spark = SparkSession.builder.master("local").appName("myapp").config("option", "value").getOrCreate()是否有一个可供选择的列表？应该换一种方式吗？
2条答案
按热度按时间wxclj1h51#
你可以设置
spark.local.dir自定义文件夹或设置环境变量SPARK_LOCAL_DIRS. 默认情况下，它使用/tmp更多详情请点击此处https://spark.apache.org/docs/2.1.0/configuration.html#application-属性vaqhlq812#
我刚刚发现我可以设置环境变量
SPARK_LOCAL_DIRS但我更希望我能用程序来做。