hadoop mapreduce set input recursive-找不到方法

tvokkenx  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(154)

我想从一个目录中读取输入,在这个目录中还有其他目录和文件;

Input
    -Dir1
        -f11.txt
        -f12.txt
    -Dir2
        -f21.txt
        -f22.txt

我必须递归地读取输入,解决方案应该是

FileInputFormat.setInputDirRecursive(job, true);

但是,我得到了错误 method not found for FileInputFormat .
我使用的是eclipse,项目的构建路径包含库 hadoop-core-2.6.0-mr1-cdh5.7.0.jar ; 查看hadoop2.6(1)的api,fileinputformat应该具有 setInputDirRecursive(...) 方法,但我的库没有。
我试着在网上寻找这个jar,但是我没有找到一个包含这个方法的jar文件。
此外,我从容器cloudera下载了这些库,其中 hadoop versionHadoop 2.6.0-cdh5.7.0 ,所以它应该是一个有效的jar。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题