我有一个pig脚本,它运行多个map reduce作业(例如:“groupby”和“order by”将作为两个不同的map reduce作业执行)有没有一种方法可以为不同的阶段指定不同的map reduce配置选项,而不是为整个脚本指定它们(例如:mapred.min.split.size的值不同于不同的阶段)?
oo7oh9g91#
pig是dag,它一步一步地执行。你可以给整个Pig脚本配置。在pig中没有这样的选项来单独调整每个步骤
1条答案
按热度按时间oo7oh9g91#
pig是dag,它一步一步地执行。你可以给整个Pig脚本配置。在pig中没有这样的选项来单独调整每个步骤