kitesdk 1.1.0 csv导入ioerror

dzjeubhm  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(325)

在ubuntu-14.04上使用hdp-2.5,运行以下命令

$ ./kite-dataset csv-import ./test.csv  test_schema

试图 import raw csv 使用kitesdk将数据导入配置单元 ver.1-1-0 并且有以下错误:
发生1个作业失败:org.kitesdk.tools.copytask:kite(dataset:file:/tmp/444e6fc4-10e2-407d-afaf-723c408a6d。。。id=1(1/1)(1):java.io.filenotfoundexception:file file:/hdp/apps/2.5.0.0-1245/mapreduce/mapreduce.tar.gz在org.apache.hadoop.fs.rawlocalfilesystem.deprecatedgetfilestatus(rawlocalfilesystem)中不存在。java:624)在org.apache.hadoop.fs.rawlocalfilesystem.getfilelinkstatusinternal(rawlocalfilesystem)上。java:850)在org.apache.hadoop.fs.rawlocalfilesystem.getfilestatus(rawlocalfilesystem)。java:614)在org.apache.hadoop.fs.delegatetofilesystem.getfilestatus(delegatetofilesystem。java:125)在org.apache.hadoop.fs.abstractfilesystem.resolvepath(abstractfilesystem。java:468)在org.apache.hadoop.fs.filterfs.resolvepath(filterfs。java:158)在org.apache.hadoop.fs.filecontext$25.next(filecontext。java:2195)在org.apache.hadoop.fs.filecontext$25.next(filecontext。java:2191)在org.apache.hadoop.fs.fslinkresolver.resolve(fslinkresolver。java:90)在org.apache.hadoop.fs.filecontext.resolve(filecontext。java:2191)在org.apache.hadoop.fs.filecontext.resolvepath(filecontext。java:603)在org.apache.hadoop.mapreduce.jobsubmitter.addmrframeworktodistributedcache(作业提交者)。java:457)在org.apache.hadoop.mapreduce.jobsubmitter.submitjobinternal(jobsubmitter。java:142)在org.apache.hadoop.mapreduce.job$10.run(job。java:1290)在org.apache.hadoop.mapreduce.job$10.run(job。java:1287)位于java.security.accesscontroller.doprivileged(本机方法)在javax.security.auth.subject.doas(subject。java:422)在org.apache.hadoop.security.usergroupinformation.doas(usergroupinformation。java:1724)在org.apache.hadoop.mapreduce.job.submit(作业。java:1287)在org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.crunchcontrolledjob.submit(crunchcontrolledjob。java:329)在org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.crunchjobcontrol.startreadyjobs(crunchjobcontrol。java:204)在org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.crunchjobcontrol.polljobstatusandstartnewone(crunchjobcontrol。java:238)在org.apache.crunch.impl.mr.exec.mrexecutor.monitorloop(mrexecutor。java:112)在org.apache.crunch.impl.mr.exec.mrexecutor.access$000(mrexecutor。java:55)在org.apache.crunch.impl.mr.exec.mrexecutor$1.run(mrexecutor。java:83)在java.lang.thread.run(线程。java:745)
我查过文件了 "hdfs:/hdp/apps/2.5.0.0-1245/mapreduce/mapreduce.tar.gz" 存在,并且在很长一段时间内无法解决此错误。
非常感谢您的帮助。

cbwuti44

cbwuti441#

我认为您得到这个错误,因为您使用的是kitesdk1.1.0版本。我在执行csv导入时也遇到了类似的错误。当我切换到kitesdk1.0.0版本时,没有出现这样的错误。
我建议您切换到kitesdk1.0.0版本。
此外,在1.1.0版本之后,kite-sdk还没有发布新版本,甚至这个版本发生在2015年6月。

vfhzx4xs

vfhzx4xs2#

我也遇到了同样的错误,我通过创建/hdp/apps/2.5.0.0-1245/mapreduce然后:cp/usr/hdp/current/hadoop client/mapreduce.tar.gz/hdp/apps/2.5.0.0-1245/mapreduce来解决这个问题
然后创建了一个新错误:org.kitesdk.tools.copytask:kite(dataset:file:/tmp/413a41a2-8813-4056-9433-3c5e073d80。。。id=1(1/1)(1):java.io.filenotfoundexception:文件不存在:hdfs://sandbox.hortonworks.com:8020/tmp/crunch-283520469/p1/reduce
我还在努力解决这个问题。

相关问题