我使用'run a single flink job on yarn'模式在yarn上运行flink作业，命令如下：./bin/flink run-m yarn cluster-yn 5./examples/batch/wordcount.jar
问题是：
无论我如何修改参数：'-yn'（-yn 2/-yn 3/-yn 4….），Yarn簇只为我的作业创建1个taskmanager和1个jobmanager。我的yarn集群只有3个节点（一个resourcemanager，两个nodemanager），我想flink的yarn客户机可能会发现只有两个nodemanager，所以客户机只创建两个管理器，一个是jobmanager，一个是taskmanager。
我的flink版本是1.6。
管理者的数量与网络上节点管理者的数量有关吗？
2条答案
按热度按时间oxiaedzo1#
我想我已经找到了原因。“在yarn上运行单个flink作业”模式就像“yarn模式”，flink先创建一个jobmanager，然后将作业提交给jobmanager。
这样，我们就有了两个重要的参数-p（parallelism）和-ys（slots），如果p是6，slots是2，那么集群将创建3（6/2）个任务管理器，参数-yn是无效的。parallelism的默认值是1，因此无论我设置了什么yn param，集群都只为我创建一个taskmanager。
r55awzrz2#
与
-yn指定要使用的Yarn容器数。每个Yarn容器都有一个flink taskmanager。因此，任务管理器的数量与节点管理器的数量无关。您确定有足够的内存和vCore来启动总共6个容器（1个jobmanager和5个TaskManager）吗？如果是这样的话，那么在开始作业时，日志会说明taskmanagers、slot和并行性的数量吗？