sparksreaming:广播可变大小限制？

dzjeubhm 于 2021-06-02 发布在 Hadoop

关注(0)|答案(0)|浏览(335)

我想在spark流媒体中使用广播变量，根据前面的问题：spark广播变量的大小有限制吗，答案是有限制的 Integer.MAX_VALUE ，即2-3 gb。
我需要向所有Map程序广播一个查找表（比如hashmap），它的权重可能高达几gb（至少2 gb）。
有没有可能或者限制大小阻止我以这种方式实现它？

Java hadoop apache-spark spark-streaming

来源：https://stackoverflow.com/questions/42328855/spark-sreaming-broadcast-variable-size-limit