试试这个-
斯卡拉

df.withColumn("phone_number", when(col("phone_number").rlike("^DEL_.*"), null)
          .otherwise(col("phone_number"))
      )

python

df.withColumn("phone_number", when(col("phone_number").rlike("^DEL_.*"), None)
          .otherwise(col("phone_number"))
      )
``` `Update` 查询-
你能解释一下为什么我原来的解决方案不起作用吗？ `customer_details.withColumn("phone_number", F.regexp_replace("phone_number", "DEL_.*", None))` ans—所有三元表达式（包含3个参数的函数）都是 `null-safe` . 也就是说如果spark发现了任何一个论点 `null` ，它确实会返回null而不进行任何实际处理（例如，regexp\u replace的模式匹配）。你可能想看看这张spark回购的照片

override def eval(input: InternalRow): Any = {
val exprs = children
val value1 = exprs(0).eval(input)
if (value1 != null) {
val value2 = exprs(1).eval(input)
if (value2 != null) {
val value3 = exprs(2).eval(input)
if (value3 != null) {
return nullSafeEval(value1, value2, value3)
}
}
}
null
}