java.lang.nosuchmethoderror:org.apache.avro.schema$字段< init>

c9x0cxw0  于 2021-07-13  发布在  Hadoop
关注(0)|答案(0)|浏览(338)

我有这个脚本,它在本地机器上工作。

public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

    Job job = Job.getInstance(new Configuration(), "ToParquet");

    job.setJarByClass(ToParquet.class);

    job.setMapperClass(BasicsMapper.class);
    job.setMapperClass(RatingsMapper.class);

    job.setReducerClass(MyReducer.class);

    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(Text.class);

    MultipleInputs.addInputPath(job, new Path("hdfs:///title.basics.tsv"), TextInputFormat.class, BasicsMapper.class);
    MultipleInputs.addInputPath(job, new Path("hdfs:///title.ratings.tsv"), TextInputFormat.class, RatingsMapper.class);

    job.setOutputKeyClass(Void.class);
    job.setOutputValueClass(GenericRecord.class);

    job.setOutputFormatClass(AvroParquetOutputFormat.class);
    AvroParquetOutputFormat.setSchema(job, getSchema());
    FileOutputFormat.setOutputPath(job, new Path("hdfs:///to_parquet_output"));

    job.waitForCompletion(true);

但是,当我尝试在hfds环境中运行它时,会显示以下错误消息。

我不知道发生了什么。如果有人能帮我,我很感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题