在“org.apache.hadoop.ipc.client-retrying connect to server:tasktracker3/10.201.2.169:50000”上运行时apche pig出错

a11xaf1n  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(379)

我正在用hadoop2.2.0运行apachepig0.11.2。
我在Pig圈里做的最简单的工作都做得很好。
但是,每当我尝试在大型数据集上使用group by或limit运算符时,都会出现以下连接错误:
2013-12-18 11:21:28400[main]info org.apache.hadoop.ipc.client-重试连接到服务器:tasktracker2/10.201.2.145:54957。已尝试0次;重试策略是RetryUpMaximumCountWithFixedSleep(maxretries=3,sleeptime=1秒)2013-12-18 11:21:29402[main]info org.apache.hadoop.ipc.client-正在重试连接到服务器:tasktracker2/10.201.2.145:54957。已尝试1次;重试策略是RetryUpMaximumCountWithFixedSleep(maxretries=3,sleeptime=1秒)2013-12-18 11:21:30403[main]info org.apache.hadoop.ipc.client-正在重试连接到服务器:tasktracker2/10.201.2.145:54957。已尝试2次;重试策略是RetryUpMaximumCountWithFixedSleep(maxretries=3,sleeptime=1秒)2013-12-18 11:21:30507[main]info org.apache.hadoop.mapred.clientservicedelegate-应用程序状态已完成。finalapplicationstatus=成功。重定向到job history server 2013-12-18 11:21:31703[main]info org.apache.hadoop.ipc.client-重试连接到服务器:tasktracker1/10.201.2.20:49528。已尝试0次;重试策略是RetryUpMaximumCountWithFixedSleep(maxretries=3,sleeptime=1秒)2013-12-18 11:21:32704[main]info org.apache.hadoop.ipc.client-正在重试连接到服务器:tasktracker1/10.201.2.20:49528。已尝试1次;重试策略是RetryUpMaximumCountWithFixedSleep(maxretries=3,sleeptime=1秒)2013-12-18 11:21:33705[main]info org.apache.hadoop.ipc.client-正在重试连接到服务器:tasktracker1/10.201.2.20:49528。已尝试2次;重试策略是RetryUpMaximumCountWithFixedSleep(maxretries=3,sleeptime=1秒)2013-12-18 11:21:33809[main]info org.apache.hadoop.mapred.clientservicedelegate-应用程序状态已完成。finalapplicationstatus=成功。重定向到job history server 2013-12-18 11:21:34890[main]info org.apache.hadoop.ipc.client-重试连接到服务器:tasktracker3/10.201.2.169:50000。已尝试0次;重试策略是RetryUpMaximumCountWithFixedSleep(maxretries=3,sleeptime=1秒)2013-12-18 11:21:35891[main]info org.apache.hadoop.ipc.client-正在重试连接到服务器:tasktracker3/10.201.2.169:50000。已尝试1次;重试策略是RetryUpMaximumCountWithFixedSleep(maxretries=3,sleeptime=1秒)2013-12-18 11:21:36893[main]info org.apache.hadoop.ipc.client-正在重试连接到服务器:tasktracker3/10.201.2.169:50000。已尝试2次;重试策略是RetryUpMaximumCountWithFixedSleep(maxretries=3,sleeptime=1秒)2013-12-18 11:21:36996[main]info org.apache.hadoop.mapred.clientservicedelegate-应用程序状态已完成。finalapplicationstatus=成功。正在重定向到job history server 2013-12-18 11:21:37152[main]info org.apache.hadoop.mapred.clientservicedelegate-应用程序状态已完成。finalapplicationstatus=成功。重定向到作业历史记录服务器
奇怪的是,在这些错误持续出现大约几分钟后,它们就会停止,并且正确的输出会显示在底部。
因此hadoop运行良好,并计算出正确的输出。问题就是这些不断出现的连接错误。这会导致脚本执行时间的增加。
我注意到的一点是,每当出现此错误时,作业都会在作业期间创建并运行多个jar文件。然而,在这些消息弹出几分钟后,正确的输出终于出现了。
我有5个节点集群1个namenode和4个datanode。所有的守护进程都运行良好。
有没有关于如何消除这些信息的建议?

sauutmhj

sauutmhj1#

看起来作业历史记录服务器未运行。
打开日志聚合(您可能已经这样做了,但只缺少服务器)-将此放到您的 yarn-site.xml :

<property>
   <name>yarn.log-aggregation-enable</name>
   <value>true</value>
</property>

运行作业历史记录服务器:

$HADOOP_INSTALL/sbin/mr-jobhistory-daemon.sh start historyserver

再次尝试运行pig脚本

相关问题