hdfs-site.xml上的配置属性是否适用于hadoop中的namenode?

drkbr07n  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(294)

我最近为集群建立了一个测试环境 hadoop -一个主人和两个奴隶。
master不是datanode(尽管有些使用master节点作为master和slave)。所以基本上我有两个数据节点。复制的默认配置是3。最初,我没有更改任何配置 conf/hdfs-site.xml . 我犯了个错误 could only be replicated to 0 nodes instead of 1 . 然后我在中更改了配置 conf/hdfs-site.xml 我的主人和奴隶如下:

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

瞧!一切正常。我的问题是:这个配置是否适用于namenode或datnode,尽管我在所有datanodes和namenodes中都更改了hdfs-site.xml。
如果我的理解是正确的,namenode为datanodes分配块。所以复制配置 master 或者 NameNode 是很重要的,可能不需要 datanodes . 是这样吗?
我对hadoop框架中不同xml的实际用途感到困惑:因为我不太了解:

  1. core-site.xml -整个框架的配置参数,比如日志文件应该放在哪里,文件系统的默认名称是什么等等
  2. hdfs-site.xml -应用于单个数据节点。有多少复制、数据节点的本地文件系统中的数据目录、块的大小等
  3. mapred-site.xml -应用于datanode并提供任务跟踪器的配置。
    如果这是错误的,请更正。这些配置文件在我的教程中没有很好的解释。所以它来自于我对这些文件的默认查看。
bpzcxfmw

bpzcxfmw1#

这通常是由于空间不足造成的。
请检查集群的总容量和已用容量,剩余比率使用

hdfs dfsadmin -report

如果此值大于剩余容量,请检查hdfs-site.xml中的dfs.datanode.du.reserved
查找此处解释的其他可能原因

ycggw6v2

ycggw6v22#

这是我的理解,我可能错了。
{hdfs site.xml}-表示hdfs(hadoop分布式文件系统)的属性{mapred site.xml}-表示mapreduce的属性{core site.xml}-表示同时涉及hdfs和mapreduce的其他属性

相关问题