hadoop作业花费的时间太长,停留在reduce>reduce,mapper 100%reducer 100%

nnsrf1az  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(385)

我已经在hadoop-1.2.1上开发了一个系统。我发现了一个严重的问题。
当我开始运行我的m/r工作时,它一直运行良好,直到mapper 100%,reducer 100%。但是它在mapper 100%,reducer 100%上被卡住了,只有一个reducer没有完成。任务日志的最后一行是'reduce>reduce',在那之后的50分钟内什么都没有。它只是被绊倒了50分钟,显示了字符串“100%减速器”。
有人能帮我解决这个问题吗?

20/10/13 19:47:06 INFO mapred.JobClient:  map 100% reduce 98%
20/10/13 19:47:25 INFO mapred.JobClient:  map 100% reduce 99%
20/10/13 19:59:09 INFO mapred.JobClient:  map 100% reduce 100%

2020-10-13 19:47:32,567 INFO org.apache.hadoop.mapred.TaskTracker: attempt_202008251547_0353_r_000063_0 1.0% reduce > reduce
2020-10-13 19:47:33,983 INFO org.apache.hadoop.mapred.TaskTracker: attempt_202008251547_0353_r_000077_0 1.0% reduce > reduce

... 

2020-10-13 19:50:16,395 INFO org.apache.hadoop.mapred.TaskTracker: Received KillTaskAction for task: attempt_202008251547_0353_r_000035_0
2020-10-13 19:50:16,395 INFO org.apache.hadoop.mapred.TaskTracker: About to purge task: attempt_202008251547_0353_r_000035_0

**[Then, it was stucked for 50 min]**

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题