aws emr-作业计数器超出限制120

htzpubme 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(284)

我继承了一个hadoop代码库，并试图在emr上运行它。但我遇到了工作计数器的问题。我得到一个错误，说我超过了默认的限制120。我查看了我的代码，发现我有大约40个计数器，emr又增加了30个内部计数器，但这应该仍然在120个默认限制之内。
我运行的是emr ami 2.4.2版和amazon 1.0.3 hadoop发行版。
有没有办法提高限额？我在hadoop中看到了120多个计数器。但我不知道如何在电子病历上设置。
有没有什么方法可以让我得到更多的调试来找出发生了什么？

hadoop emr

来源：https://stackoverflow.com/questions/36365311/aws-emr-job-counters-exceeded-limit-120

1条答案

按热度按时间

fnvucqvd1#

你可以用这个提高计数器的极限 configuration :

[
  {
    "Classification": "mapred-site",
    "Properties": {
      "mapreduce.job.counters.max:": "1024"
    }
  }
]

下面是amazon关于如何在集群中注册这些指令的说明(我不会直接粘贴到这里，因为有很多方法可以实现，这取决于您如何创建和使用集群。）

赞(0）回复(0）举报 2021-06-02

我来回答

aws emr-作业计数器超出限制120

1条答案

相关问题

热门标签

最新问答