pig拉丁语:脚本的不同阶段有不同的配置

e5njpo68  于 2021-06-25  发布在  Pig
关注(0)|答案(1)|浏览(225)

我有一个pig脚本,它运行多个map reduce作业(例如:“groupby”和“order by”将作为两个不同的map reduce作业执行)有没有一种方法可以为不同的阶段指定不同的map reduce配置选项,而不是为整个脚本指定它们(例如:mapred.min.split.size的值不同于不同的阶段)?

oo7oh9g9

oo7oh9g91#

pig是dag,它一步一步地执行。你可以给整个Pig脚本配置。在pig中没有这样的选项来单独调整每个步骤

相关问题