Map步骤后出现hadoop eof异常

nnvyjq4y  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(222)

我在伪分布式模式下运行hadoop。我的新mr jobs在datainputstream.readfully()方法中完成Map步骤后抛出eof exception。输入/输出格式相同-sequencefile。类似的工作运行良好,但新的失败了。
堆栈跟踪: java.io.EOFException at java.io.DataInputStream.readFully(DataInputStream.java:180) at java.io.DataInputStream.readFully(DataInputStream.java:152) at org.apache.hadoop.io.SequenceFile$Reader.init(SequenceFile.java:1520) at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1492) at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1479) at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1474) at org.apache.hadoop.mapreduce.lib.input.SequenceFileRecordReader.initialize(SequenceFileRecordReader.java:50) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:451) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:646) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:323) at org.apache.hadoop.mapred.Child$4.run(Child.java:266) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInf 我已经修复了这个问题,它是由hdfs输入文件夹中几个损坏的序列文件调用的

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题