在poc的3节点集群安装中，我的第3个注意事项是datanode，它有大约200gb的磁盘空间。根据ambari的hdfs disk usage小部件，我当前的hdfs使用情况如下：使用的dfs:512.8 mb（1.02%）；非dfs使用8.1gb（16.52%）；剩余40.4gb（82.46%）当我使用df-h检查磁盘大小时，我可以看到tmpfs占用了大量空间，如下面的屏幕截图所示：我怎样才能使用我的hdfs空间。我的节点3有200 gb的硬盘空间
qq24tv8q1#
您可以挂载tmpfs分区，例如：
sudo mount -t tmpfs -o size=32g tmpfs /mnt/dn-tmpfs/
然后要在hdfs中使用这个挂载的分区，您可以配置它 hdfs-site.xml 作为数据目录，例如。
hdfs-site.xml
<property> <name>dfs.datanode.data.dir</name> <value>/grid/0,/grid/1,/grid/2,[RAM_DISK]/mnt/dn-tmpfs</value> </property>
有关更多详细信息，请参阅：选择tmpfs（vs ramfs）编辑：我在ambari设置中看不到属性'datanode.data.dir'。如果需要，可以使用ambari gui将其添加为：hdfs->配置->自定义hdfs站点->添加属性。。。
1条答案
按热度按时间qq24tv8q1#
您可以挂载tmpfs分区，例如：
然后要在hdfs中使用这个挂载的分区，您可以配置它
hdfs-site.xml作为数据目录，例如。有关更多详细信息，请参阅：选择tmpfs（vs ramfs）
编辑：我在ambari设置中看不到属性'datanode.data.dir'。如果需要，可以使用ambari gui将其添加为：
hdfs->配置->自定义hdfs站点->添加属性。。。