如何读取驱动程序和执行程序中的文件?

iyfjxgzm  于 2021-05-18  发布在  Spark
关注(0)|答案(0)|浏览(271)

我有一个 properties 我想在spark驱动程序和executor节点读取的文件。我要在开学前把这两本都读一遍 SparkSession 以及在那之后 SparkSession 已启动。
我正在使用 yarn 作为主人 client 作为部署模式。我的项目结构如下:

project
|- configs
|  |- properties
|- folder-1
|- folder-2
|- main.py

如果我提供文件的绝对路径,那么执行者将无法读取它。但是,如果我使用 --files configs/properties-file 使用 SparkFiles.get() ,则驱动程序无法读取它。
有人能提出一个统一的方法,既适用于司机又适用于执行人吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题