如何在spark的空Dataframe中添加行记录

l3zydbqr 于 2021-07-12 发布在 Spark

关注(0)|答案(1)|浏览(719)

我试图在spark scala中创建一个空的Dataframe，并希望创建自己的模式并将记录加载到其中。
下面是一个例子
val emptydf=Spark.emptydataframe
val loademptydf=emptydf.withcolumn（“col1”，lit（“yes”），“col2”，lit（“no”））
但是在创建模式时，我无法获得我正在放置的默认值
电流输出：
|列1 |列2 | | ||
预期产量：
|col1 | col2 | |是|否|

scala DataFrame apache-spark apache-spark-sql

来源：https://stackoverflow.com/questions/66606203/how-to-add-a-row-record-in-empty-dataframe-in-spark

1条答案

按热度按时间

kx5bkwkv1#

withColumn 添加列，然后 lit 将默认值添加到所有行，但 DataFrame 是空的。。

val data = Seq(Row("yes", "no"))

val schema: StructType = new StructType()
  .add("col1", StringType)
  .add("col2", StringType)

val df = spark.createDataFrame(spark.sparkContext.parallelize(data), schema)

df.show()

+----+----+
|col1|col2|
+----+----+
| yes|  no|
+----+----+

赞(0）回复(0）举报 2021-07-12

我来回答

如何在spark的空Dataframe中添加行记录

1条答案

相关问题

热门标签

最新问答