启用防火墙的hadoop/yarn端口配置

i2loujxw  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(262)

我有一个小的hadoop/yarn集群,它运行在一个必须启用防火墙的系统上。我们正在尝试提交由于端口分配而失败的spark作业。
我已经为所有需要打开的标准hadoop/yarn/spark端口配置了防火墙,并且设置了我认为所有的配置来限制端口范围。但是应用程序管理器仍然在被阻塞的随机端口上创建容器。
我认为有一个设置可以做到这一点,那就是mapred-site.xml中的yarn.app.mapreduce.am.job.client.port-range集,但它似乎没有得到尊重,也没有什么区别。
如有任何想法/帮助,将不胜感激。我的头撞在墙上太久了。
编辑忘记的版本-hadoop/yarn 2.8.0、spark 2.1.0、centos7

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题