我正在迈出掌握hadoop的第一步。我已经在分布式模式下设置了cdh4.5(在两个虚拟机上)。我在用yarn运行mapreduce作业时遇到问题。我可以成功地启动distributedshell应用程序(来自cdh示例),但一旦运行mapreduce作业,它就会永远挂在那里。
这就是我要发布的内容:
sudo -uhdfs yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 1 1
以下是最后一个资源管理器的日志行:
13/12/10 23:30:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1386714123362_0001
13/12/10 23:30:02 INFO client.YarnClientImpl: Submitted application application_1386714123362_0001 to ResourceManager at master/192.168.122.175:8032
13/12/10 23:30:02 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1386714123362_0001/
13/12/10 23:30:02 INFO mapreduce.Job: Running job: job_1386714123362_0001
运行作业后,节点管理器的日志不会收到任何新消息。
这是我在资源管理器的网页上看到的关于作业的内容:
State - ACCEPTED
FinalStatus - UNDEFINED
Progress - (progress bar in 0%)
Tracking UI - UNASSIGNED
Apps Submitted - 1
Apps Pending - 1
Apps Running - 0
2条答案
按热度按时间qzwqbdag1#
可能是由于系统资源问题,我通过重新启动系统修复了它。
z5btuh9x2#
我在家里找到的http://hadoop.apache.org/docs/r2.0.6-alpha/hadoop-project-dist/hadoop-common/releasenotes.html:
Yarn-300。在sharn-271之后,由shenhong报告并由sandy ryza(resourcemanager,scheduler)修复的主要错误,fair scheduler可以无限循环并且不调度任何应用程序。在yarn-271之后,当yarn.scheduler.fair.max.assign<=0时,当一个节点被保留时,fairscheduler将无限循环并且不调度任何应用程序。
试用新版本,即2.0以上版本