在配置粘合作业时设置写访问权限

0kjbasz6  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(180)

我试图执行一个aws胶水作业,在磁盘上创建一个临时文件。但是,在尝试编写sparkdataframe时:

dydf = glueContext.create_dynamic_frame.from_options(
connection_type = 's3',
connection_options = {'paths': ['s3://some-bucket/test.csv']},
format = 'csv')
sdf = dydf.toDF()
sdf.coalesce(1).write.csv(filepath)

在磁盘上,出现以下错误:
原因:org.apache.hadoop.ipc.remoteexception(org.apache.hadoop.security.accesscontrolexception):权限被拒绝:user=root,access=write,inode=“/”:hdfs:hadoop:drwxr-xr-x
如何设置/授予这些权限以将文件写入磁盘以进行粘合作业?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题