yarn配置

v1l68za4  于 2021-07-13  发布在  Hadoop
关注(0)|答案(0)|浏览(219)

我对我的多节点hadoop集群的Yarn配置感到困惑。
我在hadoop中有多节点(3节点)。我有4个virtualbox(1个主节点和3个数据节点)。我的主机是windows,4vm是linux和ubuntu。在我的virtualbox上,我选择了固定大小的分配,它从我的主机上获取实际大小。
192.112.56.1(主节点-30gb ram、6核vcpu、40gb硬盘)
192.112.56.2(数据节点1-24gb ram、6核vcpu、100gb硬盘)
192.112.56.3(数据节点2-24gb ram、6核vcpu、100gb硬盘)
192.112.56.3(数据节点3-24gb ram、6核vcpu、100gb硬盘)
这是我的Yarn配置:yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20000</value>
  </property>
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2048</value>
  </property>
  <property>
   <name>yarn.nodemanager.resource.cpu-vcores</name>
   <value>5</value>
  </property>
</configuration>

这是我的mapred-site.xml文件:

<configuration>
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx1638m</value>
  </property>
  <property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx3278m</value>
  </property>
  <property>
    <name>mapreduce.map.cpu.vcores</name>
    <value>2</value>
  </property>
  <property>
    <name>mapreduce.reduce.cpu.vcores</name>
    <value>3</value>
  </property>
</configuration>

我的输入数据大小为26gb。我保存在hdfs中。
我对hadoop非常陌生。请告诉我如何配置yarn-site.xml和mapred-sit.xml文件。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题