作为Java mapper的一部分，我有一个命令在本地节点上执行一些代码，并将本地输出文件复制到hadoop fs。初始化VM时出错无法为对象堆保留足够的空间我试过将mapred.map.child.java.opts调整为-Xmx 512 M，但不幸的是没有成功。当我ssh进入节点时，我可以运行-copyFromLocal命令而没有任何问题。输出文件也相当小，大约100 kb。任何帮助将不胜感激！
u59ebvdq1#
Map器或reducer中的无限循环可能导致内存不足错误。我曾经遇到过OoM，当我有一个while-loop，它用iterator.hasNext（）作为条件，用于reducer值，并且没有iterator.next在循环中调用www.example.com（）。
1条答案
按热度按时间u59ebvdq1#
Map器或reducer中的无限循环可能导致内存不足错误。
我曾经遇到过OoM，当我有一个while-loop，它用iterator.hasNext（）作为条件，用于reducer值，并且没有iterator.next在循环中调用www.example.com（）。