我设置了一个由十台机器组成的集群，其中安装了cdh4（Yarn）。我在同一个节点中运行namenode、resourcemanger和historyserver，在另一个节点中运行客户端。
在其他机器上，我打开了datanode和nodemanager。我在一个100GB的文件上启动了我的应用程序，一开始它工作得很好，速度也比较快，但现在它在Map的末尾变得非常慢（大约90%100%需要30分钟）。
我不知道问题是来自我编写程序的方式还是我配置ClouderaCDH4的方式。问题是，它有时工作，但不工作，其他时间，虽然我没有改变什么。
1条答案
按热度按时间xbp102n01#
最后我发现了为什么要花这么多时间，事实上我认为hadoop fs-expunge命令允许我清空垃圾，但是它不允许，所以当hadoop尝试在hdfs文件中写入时，结果非常慢，因为剩下的空间非常少。