我们可以使用cloudera cdh5配置生成器吗?

2w2cym1i  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(259)

我使用5节点cloudera集群(4个datanodes和1个namenode)运行cdh5认证套件。
五个节点中的每一个都有128gb的ram和40个cpu核。证书套件失败,出现outofmemory错误。
(过去7-8天,我一直在努力解决这个问题,但没有成功。在默认的cdh配置设置下也失败了)我尝试过通过更改大量HDF和Yarn配置的组合来运行测试套件包括java\u opts/maven\u opts)等。
我在想,如果有一个设置/应用程序或其他东西可以为给定的集群设置生成所有理想的配置文件,对用户来说会非常有用/容易考虑到ram/cpu等),即它将采取信息。从用户喜欢的节点数、每个节点的ram、每个节点的cpu等生成Yarn、hdfs的配置参数。

oug3syen

oug3syen1#

我们也面临同样的问题,结果发现nfs速度很慢。从nfs切换到本地文件系统减少了oom错误。

相关问题