hadoop pig无法mkdir java抛出io异常

jfewjypa 于 2021-06-04 发布在 Hadoop

关注(0)|答案(2)|浏览(238)

我有一个来自hadoop现实世界解决方案烹饪书的非常简单的脚本示例，我在amazon cloudera clustertogov04 ami上尝试了它，它给了我一个java异常：不能mkdir？？但我有足够的磁盘空间？？

[ec2-user]$ df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/xvde1             8255928   3307252   4529300  43% /
tmpfs                  3757068         0   3757068   0% /dev/shm
/dev/xvdk            103212320    192116  97777324   1% /data

这是脚本，命令，错误输出

weblogs = load '/data2/weblogs/weblog_entries.txt' as
(md5:chararray,
url:chararray,
date:chararray,
time:chararray,
ip:chararray);
md5_grp = group weblogs by md5 parallel 4;
store md5_grp into '/data/weblogs/weblogs_md5_groups.bcp';

pig -x local -f pig02 2>err02

2013-06-20 19:57:29499[thread-4]info org.apache.hadoop.mapred.merge-向下到最后一个合并过程，剩余1段总大小：299132字节2013-06-20 19:57:29499[thread-4]info org.apache.hadoop.mapred.localjobrunner-2013-06-20 19:57:29，519[thread-4]warn org.apache.hadoop.mapred.localjobrunner-job\u local\u 0001 java.io.ioexception:mkdirs未能创建文件：/data/weblogs/weblogs\u md5\u groups.bcp//u temporary//u attempt\u local\u 0001\u r\u 000000\u 0，位于org.apache.hadoop.fs.checksumfilesystem.create（checksumfilesystem）。java:434)在org.apache.hadoop.fs.checksumfilesystem.create（checksumfilesystem。java:420)在org.apache.hadoop.fs.filesystem.create（filesystem。java:805)在org.apache.hadoop.fs.filesystem.create（filesystem。java:786)在org.apache.hadoop.fs.filesystem.create（filesystem。java:685)在org.apache.pig.backend.hadoop.executionengine.mapreducelayer.pigtextoutputformat.getrecordwriter（pigtextoutputformat）。java:98)位于org.apache.pig.backend.hadoop.executionengine.mapreducelayer.pigoutputformat.getrecordwriter（pigoutputformat）。java:84)在org.apache.hadoop.mapred.reducetask.runnewreducer（reducetask。java:582)在org.apache.hadoop.mapred.reducetask.run（reducetask。java:433)在org.apache.hadoop.mapred.localjobrunner$job.run（localjobrunner。java:309)2013-06-20 19:57:33176[main]info org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher-作业\u local \u 0001失败！停止运行所有相关作业
2013-06-20 19:57:33180[main]信息org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher-100%完成
2013-06-20 19:57:33182[main]error org.apache.pig.tools.pigstats.pigstattil-1 map reduce作业失败！
2013-06-20 19:57:33182[main]info org.apache.pig.tools.pigstats.simplepigstats-检测到的本地模式。下面报告的统计数据可能不完整
2013-06-20 19:57:33185[main]信息org.apache.pig.tools.pigstats.simplepigstats-脚本统计：
hadoopversion pigversion userid startedat finishedat特性
2.0.0-cdh4.1.2 0.10.0-cdh4.1.2 ec2用户2013-06-20 19:57:27 2013-06-20 19:57:33分组依据
失败！
清管器堆放痕迹

hadoop apache-pig

来源：https://stackoverflow.com/questions/17222908/hadoop-pig-cannot-mkdir-java-throw-io-exception

2条答案

按热度按时间

kq4fsx7k1#

错误2244:作业失败，hadoop不返回任何错误消息
org.apache.pig.backend.executionengine.execute:错误2244:作业失败，hadoop不会在org.apache.pig.tools.grunt.gruntparser.executebatch（gruntparser）返回任何错误消息。java:140)在org.apache.pig.tools.grunt.gruntparser.parsestoponerror（gruntparser。java:193)
在org.apache.pig.tools.grunt.gruntparser.parsestoponerror（gruntparser。java:165)在org.apache.pig.tools.grunt.grunt.exec（grunt。java:84)
在org.apache.pig.main.run（main。java:430)
在org.apache.pig.main.main（main。java:111)在sun.reflect.nativemethodaccessorimpl.invoke0（本机方法）在sun.reflect.nativemethodaccessorimpl.invoke（nativemethodaccessorimpl）。java:39)在sun.reflect.delegatingmethodaccessorimpl.invoke（delegatingmethodaccessorimpl。java:25)在java.lang.reflect.method.invoke（方法。java:597)