avro mapreduce作业失败java.lang.CompatibleClassChangeError

b5buobof 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(296)

我在这里使用hdp2.0-hadoop2.2.0和apacheavro1.7.4以及下面的avromapreduce指南来获得一个新的m/rapi
我有以下错误

2014-07-15 05:46:04,354 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
    at org.apache.avro.mapreduce.AvroKeyInputFormat.createRecordReader(AvroKeyInputFormat.java:47)
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.<init>(MapTask.java:491)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:734)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:339)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)

似乎我在混合新旧api。你猜呢？谢谢

hadoop mapreduce avro

来源：https://stackoverflow.com/questions/24756078/avro-mapreduce-job-failing-java-lang-incompatibleclasschangeerror

2条答案

按热度按时间

lsmd5eda1#

实际上找到了解决问题的方法。这里正式报道
简单的解决方案-avro需要根据hadoop2编译

<dependency>
    <groupId>org.apache.avro</groupId>
    <artifactId>avro-mapred</artifactId>
    <version>1.7.4</version>
    <classifier>hadoop2</classifier>
</dependency>

赞(0）回复(0）举报 2021-06-03

kuarbcqp2#

对我来说，我通过添加 classifier:"hapdoop2" 给我们的 build.gradle 文件：

avro_mapred  : [group:"org.apache.avro", name:"avro-mapred", version:"1.7.7", classifier:"hadoop2"],

赞(0）回复(0）举报 2021-06-03

我来回答

avro mapreduce作业失败java.lang.CompatibleClassChangeError

2条答案

相关问题

热门标签

最新问答