假设我们有一个有300个数据节点+1个名称节点的Yarn集群。如果我们在集群模式下执行spark作业，那么驱动程序将从哪里开始？我已经读到驱动程序将驻留在集群模式下的主应用程序中。那么，这是否意味着驱动程序将驻留在该特定作业的300个数据节点中的任何一个节点上？
例如，对于每个spark作业，都将创建一个驱动程序。因此，让我们假设第一个作业是在集群模式下执行的，并选取第54个数据节点在那里启动驱动程序。如果下一个作业在集群模式下执行，它会在集群中拾取一些随机数据节点并在那里启动驱动程序吗？谁能澄清一下吗？
1条答案
按热度按时间h9vpoimq1#
是的，正确，驱动程序将在任何一个数据节点上运行。
在群集模式下，spark驱动程序在由群集上的yarn管理的应用程序主进程内运行，客户端可以在启动应用程序后离开https://spark.apache.org/docs/2.4.0/running-on-yarn.html