如何在hadoop2.x中增加hdfs的容量

doinxwow  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(301)

我一直在试图找到如何在hadoop2.7.2和spark2.0.0中增加hdfs的容量。
我读了这个链接。
但我不明白。这是我的core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>hadoop_eco/hadoop/tmp</value>
  </property>

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://com1:9000</value>
  </property>
</configuration>

和hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>hadoop_eco/hadoop/name</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>hadoop_eco/hadoop/data</value>
  </property>

  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
 </configuration>

当我用1个namenode和10个datanode运行spark时,我得到以下错误消息:
org.apache.hadoop.hdfs.statechange:dir*completefile:/user/spark/\u temporary/0/\u temporary/trunt\u 201611141313\u 0001\u m\u 000052\u 574/part-00052由dfsclient关闭\u nonmapreduce\u 1638755846\u 140
我无法识别此错误,但它可能与磁盘容量不足有关。
我的配置容量(hdfs)是499.76gb,每个数据节点的容量是49.98gb。
那么,有没有办法提高hdfs的容量呢?

hc2pp10m

hc2pp10m1#

我解决了。
改变hdfs的容量非常容易。
我试图更改hdfs-site.xml

<property>
     <name>dfs.datanode.data.dir</name>
     <value>file://"your directory path"</value>
  </property>

并使用此命令行 hadoop namenode -format stop-all.sh start-all.sh 最后,使用 hdfs dfsadmin -report

相关问题