mapreduce冻结在99%

svdrlsy4 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(350)

我有一个非常简单的hadoop程序的问题，它进展到99%的缩减阶段，然后冻结。输入是一个非常精简的文件~ 50行文本，输出应该是非常直截了当的id及其频率的键值对。
我已将mapred-site.xml中的内存分配增加到~6gig。

<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx6024m</value>
</property>

我试图检查日志文件，但它们都是空的，没有写入任何内容。请说明这有什么问题？

1条答案

好的，当我开始使用新的作业和配置类时，这个问题就解决了。到目前为止，我使用的是遗留代码，这似乎导致了很多错误。所以我想我的建议是使用最新的hadoop库&而不是那些不推荐使用的库。
遗憾的是，有些hadoop书籍仍然使用遗留类和api进行教学。——不要使用它们！