apache pig中的连接错误

vd2z7a6w  于 2021-06-03  发布在  Hadoop
关注(0)|答案(4)|浏览(317)

我正在用Hadoop2.0.5运行ApachePig.11.1。
我在Pig圈里做的最简单的工作都做得很好。
但是,每当我尝试在大型数据集上使用group by或limit运算符时,都会出现以下连接错误:

2013-07-29 13:24:08,591 [main] INFO  org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server 
013-07-29 11:57:29,421 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

2013-07-29 11:57:30,421 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

2013-07-29 11:57:31,422 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
...
2013-07-29 13:24:18,597 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 13:24:18,598 [main] ERROR org.apache.hadoop.security.UserGroupInformation - PriviledgedActionException as:gpadmin (auth:SIMPLE) cause:java.io.IOException

奇怪的是,在这些错误持续出现大约2分钟后,它们就会停止,并且正确的输出会显示在底部。
因此hadoop运行良好,并计算出正确的输出。问题就是这些不断出现的连接错误。
这个 LIMIT 操作员总是得到这个错误。它发生在mapreduce模式和local模式上。这个 GROUP BY 操作员可以在小数据集上正常工作。
我注意到的一点是,每当出现此错误时,作业都会在作业期间创建并运行多个jar文件。然而,在这些消息弹出几分钟后,正确的输出终于出现了。
有没有关于如何消除这些信息的建议?

ewm0tg9j

ewm0tg9j1#

我使用的是hadoop2.6.0,所以我不得不这么做

$ mr-jobhistory-daemon.sh --config /usr/local/hadoop/etc start historyserver

其中,/usr/local/hadoop/etc是我的hadoop目录。

im9ewurl

im9ewurl2#

我认为,这个问题与hadoopMap站点配置问题有关。历史服务器在localhost中运行默认值,因此需要添加配置的主机。

<property>
 <name>mapreduce.jobhistory.address</name>
 <value>host:port</value>
</property>

然后发出这个命令-

mr-jobhistory-daemon.sh start historyserver
xoshrz7s

xoshrz7s3#

是的,问题是作业历史记录服务器没有运行。
要解决此问题,我们只需在命令提示符中输入以下命令:

mr-jobhistory-daemon.sh start historyserver

此命令启动作业历史记录服务器。现在,如果我们输入'jps',我们可以看到jobhistoryserver正在运行,我的pig作业不再浪费时间尝试连接到服务器。

wqnecbli

wqnecbli4#

我正在使用hadoop2.2.0。此问题是由于历史记录服务器未运行造成的。我必须启动历史服务器。我使用以下命令启动历史服务器:
[root@localhost ~]$/usr/lib/hadoop-2.2.0/sbin/mr-jobhistory-daemon.sh启动历史服务器

相关问题