我正在尝试用sqoop将数据从oracle导入到内部配置单元。我的sqoop查询工作得很好，但是当我尝试在一个脚本中同时运行多个sqoop查询时，只有一个mapreduce作业正在运行，而其他作业正在运行中的接受队列上等待。我尝试用sqoop导入的表大约有5亿行和100列。我对服务配置做了一些更改，但问题仍然存在。
有没有办法同时运行这些mapreduce作业？我的群集信息如下所述。
hdp 3.0.1、ambari 2.7.0、4个主节点、3个实用节点、7个工作节点。每个节点有128 gb内存和32个CPU。sqoop版本是1.4.7。谢谢。
1条答案
按热度按时间ycggw6v21#
需要调整yarnsite.xml以使用不同的调度策略。我相信fifo是默认选择的。
在过去，这是我用来设置容量调度器的网页。我认为你可能想使用公平调度，但最终是你的选择。http://www.corejavaguru.com/bigdata/hadoop-tutorial/yarn-scheduler
注意：提交作业时，可能需要添加其他配置参数。例如，在capacity scheduler中，您还需要定义应该添加作业的队列。