将文本文件保存在s3中,日期与输入Parquet文件的日期相同

qyzbxkaa  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(156)

我在s3中有一些Parquet文件是过时的(2020年2月),我正在使用sparkscala(通过数据管道的jar文件)将它们保存为文本文件进行处理。问题是,当我处理它们时,文件会以今天的时间戳保存。我想用与输入文件相同的时间戳保存它们。我试过用-

ds.coalesce(1)
  .write
  .mode(SaveMode.Append)
  .text(destinationPath)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题