dataproc重命名spark在gcs文件夹中编写的文件

jq6vz3qz  于 2021-07-14  发布在  Java
关注(0)|答案(1)|浏览(298)

我正在使用dataproc使用scala实现spark作业。我的spark工作的目的是在gcs中读取数据并进行一些转换,然后在gcs下写入结果数据。我们从spark write得到的文件是part-00,我想重命名它们,但是我找不到任何解决方案,因为写入的文件在gcs下,而不是hdfs下。你知道怎么解决这个问题吗。谢谢。

sqyvllje

sqyvllje1#

在dataproc集群上,仍然可以运行相同的 hadoop fs -mv 针对gcs的命令与针对hdfs的命令相同,只是使用了完整的“gs://bucket/filename…”路径。

相关问题