nutch1.7会将文件系统更改为本地文件系统

ahy6op9u  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(322)

我从命令行构建并运行了nutch1.7
hadoop jar apache-ntuch-1.7.job org.apache.nutch.crawl.crawlhdfs://myserver/nutch/urls -目录hdfs://myserver/nutch/crawl -深度5-顶部100
但当我在oozie做同样的事情时,它总是出错:hdfs://myserver/nutch/crawl/crawldb/current,应为:文件:///
每次代码执行时,我都检查源代码
filesystem fs=new jobclient(job).getfs();
fs被改回本地fs。
我重写这些语句的所有示例,然后作业在fetch阶段终止,只说java.io.ioexception:job failed!在org.apache.hadoop.mapred.jobclient.runjob(jobclient。java:838)
从oozie运行确实会导致加载错误版本的jobclient类(来自hadoop core.jar)。
有人见过这个吗?

dwthyt8l

dwthyt8l1#

oozie conf目录似乎缺少正确的*-site.xml文件。我将mapred-site.xml添加到/etc/oozie/conf/hadoop-conf目录中,这个问题就消失了。

相关问题