如何调整hadoop集群以同时执行多个任务?

ttisahbt  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(355)

我有3个以上的hadoop批处理(包括sqoop、hive、pig作业),这些批处理是按顺序安排的。在执行这些批处理时,如果有任何上一个作业正在运行,则作业将在接受状态下受阻。
如何增加有助于同时运行作业的插槽/容器的数量。

pb3s4cty

pb3s4cty1#

你也可以
安装更多节点管理器
限制最大Yarn容器尺寸
使用不同的调度程序(并使用队列)

相关问题