无法使用yarn运行mapreduce作业

ajsxfq5m  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(404)

我正在迈出掌握hadoop的第一步。我已经在分布式模式下设置了cdh4.5(在两个虚拟机上)。我在用yarn运行mapreduce作业时遇到问题。我可以成功地启动distributedshell应用程序(来自cdh示例),但一旦运行mapreduce作业,它就会永远挂在那里。
这就是我要发布的内容:

sudo -uhdfs yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 1 1

以下是最后一个资源管理器的日志行:

13/12/10 23:30:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1386714123362_0001
13/12/10 23:30:02 INFO client.YarnClientImpl: Submitted application application_1386714123362_0001 to ResourceManager at master/192.168.122.175:8032
13/12/10 23:30:02 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1386714123362_0001/
13/12/10 23:30:02 INFO mapreduce.Job: Running job: job_1386714123362_0001

运行作业后,节点管理器的日志不会收到任何新消息。
这是我在资源管理器的网页上看到的关于作业的内容:

State - ACCEPTED
FinalStatus - UNDEFINED
Progress - (progress bar in 0%) 
Tracking UI - UNASSIGNED

Apps Submitted - 1
Apps Pending - 1 
Apps Running - 0
qzwqbdag

qzwqbdag1#

可能是由于系统资源问题,我通过重新启动系统修复了它。

z5btuh9x

z5btuh9x2#

我在家里找到的http://hadoop.apache.org/docs/r2.0.6-alpha/hadoop-project-dist/hadoop-common/releasenotes.html:
Yarn-300。在sharn-271之后,由shenhong报告并由sandy ryza(resourcemanager,scheduler)修复的主要错误,fair scheduler可以无限循环并且不调度任何应用程序。在yarn-271之后,当yarn.scheduler.fair.max.assign<=0时,当一个节点被保留时,fairscheduler将无限循环并且不调度任何应用程序。
试用新版本,即2.0以上版本

相关问题