按行合并sparkDataframe

epggiuax  于 2021-05-27  发布在  Spark
关注(0)|答案(3)|浏览(572)

这个问题在这里已经有了答案

如何在java中组合(连接)具有相同列名的两个Dataframe(1个答案)
三个月前关门了。
我有两个sparkDataframe:
df1型

+------+--------------------+
|   id |            feature |           
+------+--------------------+
|     1|                 aaa|
+------+--------------------+

df2型

+------+--------------------+
|   id |            feature |           
+------+--------------------+
|     2|                 bbb|
+------+--------------------+

现在我想把df1和df2合并成:

+------+--------------------+
|   id |            feature |           
+------+--------------------+
|     1|                 aaa|
+------+--------------------+
|     2|                 bbb|
+------+--------------------+

我该怎么办?

brvekthn

brvekthn1#

df1.unionByName(df2)

unionbyname函数:https://spark.apache.org/docs/latest/api/scala/org/apache/spark/sql/dataset.html#unionbyname(other:org.apache.spark.sql.dataset[t] ):org.apache.spark.sql.dataset[t]

mlnl4t2r

mlnl4t2r2#

你可以用 df1.unionall(df2) 用于逐行合并这两个Dataframe。

b4qexyjb

b4qexyjb3#

如果是这样的话,相同的列都是dataframe,只要合并它们就行了

df1.union(df2)

相关问题