我正在用Hadoop2.0.5运行ApachePig.11.1。
我在Pig圈里做的最简单的工作都做得很好。
但是,每当我尝试在大型数据集上使用group by或limit运算符时,都会出现以下连接错误:
2013-07-29 13:24:08,591 [main] INFO org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
013-07-29 11:57:29,421 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 11:57:30,421 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 11:57:31,422 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
...
2013-07-29 13:24:18,597 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 13:24:18,598 [main] ERROR org.apache.hadoop.security.UserGroupInformation - PriviledgedActionException as:gpadmin (auth:SIMPLE) cause:java.io.IOException
奇怪的是,在这些错误持续出现大约2分钟后,它们就会停止,并且正确的输出会显示在底部。
因此hadoop运行良好,并计算出正确的输出。问题就是这些不断出现的连接错误。
这个 LIMIT
操作员总是得到这个错误。它发生在mapreduce模式和local模式上。这个 GROUP BY
操作员可以在小数据集上正常工作。
我注意到的一点是,每当出现此错误时,作业都会在作业期间创建并运行多个jar文件。然而,在这些消息弹出几分钟后,正确的输出终于出现了。
有没有关于如何消除这些信息的建议?
4条答案
按热度按时间ewm0tg9j1#
我使用的是hadoop2.6.0,所以我不得不这么做
其中,/usr/local/hadoop/etc是我的hadoop目录。
im9ewurl2#
我认为,这个问题与hadoopMap站点配置问题有关。历史服务器在localhost中运行默认值,因此需要添加配置的主机。
然后发出这个命令-
xoshrz7s3#
是的,问题是作业历史记录服务器没有运行。
要解决此问题,我们只需在命令提示符中输入以下命令:
此命令启动作业历史记录服务器。现在,如果我们输入'jps',我们可以看到jobhistoryserver正在运行,我的pig作业不再浪费时间尝试连接到服务器。
wqnecbli4#
我正在使用hadoop2.2.0。此问题是由于历史记录服务器未运行造成的。我必须启动历史服务器。我使用以下命令启动历史服务器:
[root@localhost ~]$/usr/lib/hadoop-2.2.0/sbin/mr-jobhistory-daemon.sh启动历史服务器