我在s3中有一些Parquet文件是过时的(2020年2月),我正在使用sparkscala(通过数据管道的jar文件)将它们保存为文本文件进行处理。问题是,当我处理它们时,文件会以今天的时间戳保存。我想用与输入文件相同的时间戳保存它们。我试过用-
ds.coalesce(1)
.write
.mode(SaveMode.Append)
.text(destinationPath)
我在s3中有一些Parquet文件是过时的(2020年2月),我正在使用sparkscala(通过数据管道的jar文件)将它们保存为文本文件进行处理。问题是,当我处理它们时,文件会以今天的时间戳保存。我想用与输入文件相同的时间戳保存它们。我试过用-
ds.coalesce(1)
.write
.mode(SaveMode.Append)
.text(destinationPath)
暂无答案!
目前还没有任何答案,快来回答吧!