在使用spark rddapi时，我们可以使用广播变量来优化spark分配不可变状态的方式。

1） 广播变量如何在内部工作？

我的假设是：对于用于对数据集执行操作的每个闭包，它引用的所有变量都必须序列化、通过网络传输并与任务一起还原，以便可以执行闭包。
注册如下广播变量时：

val broadcastVar = sc.broadcast("hello world")

返回的对象( Broadcast[String] )不保留对实际对象（“hello world”）的引用，而只保留某个id。当广播变量句柄从如上所述的闭包中被引用时，它将被序列化，就像其他所有变量一样-只是广播变量句柄本身不包含实际对象。
稍后在目标节点上执行闭包时，实际对象（“hello world”）已经传输到每个节点。当闭包到达 broadcastVar.value 调用时，广播变量句柄使用id在内部检索实际对象。
这个假设正确吗？

2） 有没有办法在sparksql中利用这种机制？

假设我有一组允许的值。
使用rdd api时，我会为AllowedValue创建一个广播变量：

val broadcastAllowedValues = sc.broadcast(allowedValues) // Broadcast[Set[String]]

rdd.filter(row => broadcastAllowedValues.value.contains(row("mycol")))

当然，在使用sparksqlapi时，我会使用 Column.isin / Column.isInCollection 方法：

dataframe.where(col("mycol").isInCollection(allowedValues))

但我似乎无法通过这种方式获得广播变量的优势。
另外，如果我将这段代码更改为：

val broadcastAllowedValues = sc.broadcast(allowedValues) // Broadcast[Set[String]]

dataframe.where(col("mycol").isInCollection(allowedValues.value))

本部分：

col("mycol").isInCollection(allowedValues.value)
// and more important this part:
allowedValues.value

将已经在驱动程序上进行评估，从而生成一个新的 Column -对象。所以广播变量失去了它的优势。与第一个示例相比，它甚至会有一些开销。。。
有没有一种方法可以利用sparksqlapi的广播变量，或者在这些点上我必须显式地使用rddapi？