我得到异常java.lang.runtimeexception:pipemapred.waitoutputthreads():子进程失败,代码为1

oyjwcjzk  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(177)

我正在使用python并运行一些map reduce作业。我得到下面的错误只有一个特定的文件,而其他文件与相同的格式是正常工作。我查看了这个文件,它看起来很好,没有什么不同,当我在数据文件上本地运行map reduce python文件时,我没有得到任何错误。有人能帮帮我吗。

2013-08-27 11:58:26,782 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201308271128_0002_m_000000_0: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:572)
    at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:136)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
    at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:417)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:332)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
    at org.apache.hadoop.mapred.Child.main(Child.java:262)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题