pig作业在同时运行时会受阻

jutyujz0  于 2021-06-25  发布在  Pig
关注(0)|答案(1)|浏览(298)

我的cdh 5.2是为单节点配置的。
使用hue3.6.0,我提交了第一个工作流,其中包含2个pig脚本。紧接着,我提交了第二个工作流,其中有1个pig脚本。
我的第二个工作流等待第一个工作流完成第一个pig脚本,但它没有等待第一个工作流完成第二个pig脚本。第二个执行它的脚本,而第一个工作流开始执行它的第二个脚本。他们被绊倒了。
我试着在shell模式下同时运行那些pig脚本。成功了!。
有没有修理的指南?
非常感谢

9gm1akwq

9gm1akwq1#

这可能真的是我的头绪http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/ ?

相关问题