我有一个带有以下模式的框架：

root
     |-- e: array (nullable = true)
     |    |-- element: string (containsNull = true)

字符串
例如，启动一个框架：

val df = Seq(Seq("73","73"), null, null, null, Seq("51"), null, null, null, Seq("52", "53", "53", "73", "84"), Seq("73", "72", "51", "73")).toDF("e")

df.show()

+--------------------+
|                   e|
+--------------------+
|            [73, 73]|
|                null|
|                null|
|                null|
|                [51]|
|                null|
|                null|
|                null|
|[52, 53, 53, 73, 84]|
|    [73, 72, 51, 73]|
+--------------------+

型
我希望输出为：

+--------------------+
|                   e|
+--------------------+
|                [73]|
|                null|
|                null|
|                null|
|                [51]|
|                null|
|                null|
|                null|
|    [52, 53, 73, 84]|
|        [73, 72, 51]|
+--------------------+

型
我正在尝试以下udf：

def distinct(arr: TraversableOnce[String])=arr.toList.distinct
val distinctUDF=udf(distinct(_:Traversable[String]))

型
但它只在行不为空时有效，即。

df.filter($"e".isNotNull).select(distinctUDF($"e"))

型
给我

+----------------+
|          UDF(e)|
+----------------+
|            [73]|
|            [51]|
|[52, 53, 73, 84]|
|    [73, 72, 51]|
+----------------+

型
但

df.select(distinctUDF($"e"))

型
失败。在这种情况下，我如何使udf句柄为null？或者，如果有一种更简单的方法可以获得唯一值，我想尝试一下。