有没有一种方法可以跳过一个失败的Map作业而不是整个作业？我有成千上万的Map工作都运行良好，总是有这个恼人的最后一个Map工作，需要永远，最终杀死大工作。有没有一种方法可以设置“忽略失败”这样的常规设置或可以忽略的Map百分比？我不期待完美的结果与100%的数据，一个好的估计与95%将完全足够。
j2qf4p5b1#
可以使用mapred.max.map.failures.percent（新版本2.1.0中的mapreduce.map.failures.maxpercent）和mapred.max.reduce.failures.percent属性来控制作业失败http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/deprecatedproperties.html
1条答案
按热度按时间j2qf4p5b1#
可以使用mapred.max.map.failures.percent（新版本2.1.0中的mapreduce.map.failures.maxpercent）和mapred.max.reduce.failures.percent属性来控制作业失败
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/deprecatedproperties.html