apache pig性能优化

x3naxklr  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(282)

我已经写了几个Pig脚本,我已经包括在一个Pig主脚本使用运行。在pig主脚本中包含所有脚本的原因是,我们正在对所有变量(每个脚本中投影的变量->模式)进行最后一次左连接,以创建一个大文件。
问题:执行需要很长时间才能完成。目前需要27分钟以上,预计时间为5-6分钟。
集群信息:amazon上的10节点集群(xlarge)。有什么办法可以解决这个问题吗。

j5fpnvbx

j5fpnvbx1#

也许这会有帮助:

http://pig.apache.org/docs/r0.12.1/perf.html

或者这个:

http://chimera.labs.oreilly.com/books/1234000001811/ch08.html

相关问题