外部洗牌服务的节点管理器堆大小

eeq64g8w 于 2021-05-17 发布在 Spark

关注(0)|答案(0)|浏览(281)

我是按照这个文件来配置的 External shuffle service 在我们的星火团里。指令下面的第5点是：通过在etc/hadoop/yarn-env.sh中设置yarn\u heapsize（默认为1000）来增加nodemanager的堆大小，以避免洗牌过程中出现垃圾收集问题。
达到新尺寸需要考虑哪些因素？建议值是多少？

hadoop yarn apache-spark hdp apache-spark-2.0

来源：https://stackoverflow.com/questions/64803708/node-manager-heap-size-for-external-shuffle-service