我有一个 properties
我想在spark驱动程序和executor节点读取的文件。我要在开学前把这两本都读一遍 SparkSession
以及在那之后 SparkSession
已启动。
我正在使用 yarn
作为主人 client
作为部署模式。我的项目结构如下:
project
|- configs
| |- properties
|- folder-1
|- folder-2
|- main.py
如果我提供文件的绝对路径,那么执行者将无法读取它。但是,如果我使用 --files configs/properties-file
使用 SparkFiles.get()
,则驱动程序无法读取它。
有人能提出一个统一的方法,既适用于司机又适用于执行人吗?
暂无答案!
目前还没有任何答案,快来回答吧!