scala-将Dataframe保存到文本文件而不使用[]

xqk2d5yq 于 2021-05-27 发布在 Spark

关注(0)|答案(2)|浏览(558)

当我将一个Dataframe保存到一个文本文件中时，它会与 [] 例如，我有一个Dataframe：

9206E599-2E07-439E-9C01-A6714E779D11
D607E87F-FB90-4F2B-8A99-335AE4F5C97F

当我这么做的时候 myDataFrame.rdd.saveAsTextFile("My Path") 我明白了

[9206E599-2E07-439E-9C01-A6714E779D11]
[D607E87F-FB90-4F2B-8A99-335AE4F5C97F]

有没有办法去掉那些支架。

2条答案

这里有一个方法。

val df: DataFrame = ???
df.rdd.map(r => r.getString(0)).saveAsTextFile("My Path")

问题是rdd包含org.apache.spark.sql.row对象。当这些是“tostring”的时候，它们两边都有那些方括号。您希望将row对象中的数据提取到字符串中。

一个更简单的选择-只需使用标准的Dataframe write 未转换为rdd的api：

myDataFrame.write.text("My Path")