我正在尝试在配置单元中运行查询：
这里是最简单的设置（我知道我可以做一个=但是我使用了一个自定义的udf，它不仅仅是一个等式比较）
数据集a和b各有大约30000行 SELECT * FROM a INNER JOIN b ON Custom_UDF_Equals_Comparison(a.id, b.id) LIMIT 5 其中custom_udf_equals_comparison只是在a.id=b.id之间进行相等检查
当我运行这个查询时，我可以在我的日志输出中看到很多m/r任务正在运行，假设它在两个数据集之间进行比较，直到比较所有可能的排列，并且远远超过5的限制（我预计只有少数m/r任务，因为我知道大多数数据可以在每个表的前几行中联接），为什么会发生这种情况？和/或如何修复？
编辑：
您好，zero323，这是一个类似的问题，但并不确切，它解释了为什么在使用udf进行比较时会执行2个rdd之间的完全比较，但它没有解释为什么在找到限制5时，限制不会停止比较。例如，如果在前10次连接尝试中找到5行，那么为什么在剩余的3000030000次连接尝试中会找到5行。是因为在所有连接发生之后才应用限制吗？e、 它将3000030000行合并，然后将它们减少到5行？
编辑2：

def levenshtein(str1: String, str2: String): Int = {
val lenStr1 = str1.length
val lenStr2 = str2.length

val d: Array[Array[Int]] = Array.ofDim(lenStr1 + 1, lenStr2 + 1)

for (i <- 0 to lenStr1) d(i)(0) = i
for (j <- 0 to lenStr2) d(0)(j) = j

for (i <- 1 to lenStr1; j <- 1 to lenStr2) {
  val cost = if (str1(i - 1) == str2(j-1)) 0 else 1

  d(i)(j) = min(
    d(i-1)(j  ) + 1,     // deletion
    d(i  )(j-1) + 1,     // insertion
    d(i-1)(j-1) + cost   // substitution
  )
}

d(lenStr1)(lenStr2)

}

def min(nums: Int*): Int = nums.min

def join_views( joinType: String, parameters: Any, col1: Any, col2: Any) : Boolean = {
if (joinType == "Equals") {
  if (col1 == null || col2 == null) {
    return false
  }

  return col1 == col2
}
else if (joinType == "Fuzzy_String") {
  if (col1 == null || col2 == null) {
    return false
  }

  val val1 = col1.asInstanceOf[String]
  val val2 = col2.asInstanceOf[String]

  val ratio = Utils.distancePercentage(val1, val2)

  if (ratio == 1.0) {
    return val1 == val2
  }

  return (ratio >= parameters.asInstanceOf[Double])
}

return false;

}
... 在连接视图上（“fuzzy\u string”，“0.1”，a.col1，b.col1）限制5=20秒
... 在连接视图上（“fuzzy\u string”，“0.9”，a.col1，b.col1）限制5=100秒