如果你有一个pk的框架，也许你可以使用join来加速。像这样：

val df1 = data.select("pk", "column1")
val df2 = df1.where("column1 is null")
val df3 = df2.withColumn("error_notes", concat_WS("!", Column1 is null, col("error_note")))
val df4 = df2.join(df3, Seq("pk"))

字符串

可以准备所有列的检查，并且方法withColumn仅使用一次：

val columnsToCheck = Seq("column1", "column2", "column3")
val df = Seq(
  (Some(1), Some(2), Some(3)),
  (Some(4), None, None)
).toDF(columnsToCheck: _*)

val errorMessages = columnsToCheck.map(colName =>
  when(col(colName).isNull, lit(colName + " is null")).otherwise(null)
)

val result = df.withColumn("error_note", concat_ws("!", errorMessages: _*))

字符串
结果是：

+-------+-------+-------+-------------------------------+
|column1|column2|column3|error_note                     |
+-------+-------+-------+-------------------------------+
|1      |2      |3      |                               |
|4      |null   |null   |column2 is null!column3 is null|
+-------+-------+-------+-------------------------------+

型

不要使用withColumn，这是速度变慢的主要原因，你还应该避免使用字符串，而是使用专用的状态字段（参见Quality's storage model以获得更少浪费和更快的示例）。
我在pasha701之外添加这个的唯一原因是，你会发现你可以添加的when子句的数量有一个上限，它们将被编译成一个单一的函数，这个函数无法逃脱每个spark版本上64k代码大小的限制。一些版本会直接抛出janino错误，而另一些版本则会直接抛出janino错误，以寻求优化。这样的规则直接处理了这个问题。YMMV和pasha701的响应在其他方面符合要求。