无法在pyspark中使用sparkfiles.get(文件名)读取文件

plupiseo  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(322)

我正在用传递一个文件 --files 使用提交申请时 spark2-submit 以及使用 Sparkfiles.get(filename) 读取文件。

print('path' + SparkFiles.get(file))

path_to_config_file = SparkFiles.get(file)
with open(path_to_config_file, 'r') as config_file:
    for line in config_file:
     #print contents

我可以打印语句中文件的路径,但无法读取它。无法获取问题所在。
输出:

path/data/yarn/nm/usercache/root/appcache/application_1585022987183_0832/spark-e3b728db-5cff-4ae4-ac81-9109b58a6948/userFiles-826481ff-8ab1-49f1-9e3b-d9099204f365/filename

IOError: [Errno 2] No such file or directory: u'/data/yarn/nm/usercache/root/appcache/application_1585022987183_0832/spark-e3b728db-5cff-4ae4-ac81-9109b58a6948/userFiles-826481ff-8ab1-49f1-9e3b-d9099204f365/filename

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题