我已经在hadoop-1.2.1上开发了一个系统。我发现了一个严重的问题。
当我开始运行我的m/r工作时,它一直运行良好,直到mapper 100%,reducer 100%。但是它在mapper 100%,reducer 100%上被卡住了,只有一个reducer没有完成。任务日志的最后一行是'reduce>reduce',在那之后的50分钟内什么都没有。它只是被绊倒了50分钟,显示了字符串“100%减速器”。
有人能帮我解决这个问题吗?
20/10/13 19:47:06 INFO mapred.JobClient: map 100% reduce 98%
20/10/13 19:47:25 INFO mapred.JobClient: map 100% reduce 99%
20/10/13 19:59:09 INFO mapred.JobClient: map 100% reduce 100%
2020-10-13 19:47:32,567 INFO org.apache.hadoop.mapred.TaskTracker: attempt_202008251547_0353_r_000063_0 1.0% reduce > reduce
2020-10-13 19:47:33,983 INFO org.apache.hadoop.mapred.TaskTracker: attempt_202008251547_0353_r_000077_0 1.0% reduce > reduce
...
2020-10-13 19:50:16,395 INFO org.apache.hadoop.mapred.TaskTracker: Received KillTaskAction for task: attempt_202008251547_0353_r_000035_0
2020-10-13 19:50:16,395 INFO org.apache.hadoop.mapred.TaskTracker: About to purge task: attempt_202008251547_0353_r_000035_0
**[Then, it was stucked for 50 min]**
暂无答案!
目前还没有任何答案,快来回答吧!