pyspark在hdfs中重命名文件

mtb9vblg  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(465)

我正在使用spark2.3.1并想在pyspark程序中重命名hdfs文件。我在听这个答案[https://stackoverflow.com/a/58172249/12927963](皮斯帕克)
对于这条线
重命名(路径(hdfs\u dir+''+文件名),路径(hdfs\u dir+''+新文件名))
我有以下错误。
nameerror:未定义名称“path”
如果我从行中删除path关键字
我有以下错误。
py4jerror:调用o562.rename时出错。trace:py4j.py4jexception:method rename([class java.lang.string,class java.lang.string])不存在
那么如何解决这个问题呢?

ipakzgxi

ipakzgxi1#

将路径定义为

Path = sc._gateway.jvm.org.apache.hadoop.fs.Path

相关问题