如何在卷上保留可用空间

2wnc66cl  于 2021-05-30  发布在  Hadoop
关注(0)|答案(0)|浏览(224)

我有一个由4个节点组成的集群。他们每个人都有自己的背景 dfs.datanode.du.reserved 设置为 5000000000 .
我的印象是 dfs.datanode.du.reserved 是每卷,但似乎不是。现在我所有节点上的卷都几乎100%满了,我被卡住了。
如何告诉hadoop在每个卷上保留一些可用空间?我目前甚至无法再启动群集,因为某些卷缺少空间。从namenode登录主机:

2015-01-12 11:29:04,374 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /home/hduser/hadoop-2.4.1/hdfs/namenode/in_use.lock acquired by nodename 12718@liikennedata.novalocal
2015-01-12 11:29:04,540 ERROR org.apache.hadoop.hdfs.server.common.Storage: Failed to acquire lock on /home/hduser/hadoop-2.4.1/hdfs/d-add3/name/in_use.lock. If this storage directory is mounted via NFS, ensure that the appropriate nfs lock services are running.
java.io.IOException: No space left on device

其他人也问过这个问题,但我还没有找到解决办法(参考:https://issues.apache.org/jira/browse/hdfs-1564 )
我在ubuntus上使用hadoop2.4.1。我每隔一段时间将数据附加到hdfs中的一个文件中—当前没有正在运行的作业。
这是主节点上df的输出。其他节点类似。

Filesystem     1K-blocks      Used Available Use% Mounted on
/dev/vda1      123853388 117620668         0 100% /
udev             4078456         8   4078448   1% /dev
tmpfs             817608       280    817328   1% /run
none                5120         0      5120   0% /run/lock
none             4088024         0   4088024   0% /run/shm
/dev/vdb       103081248  97821976         8 100% /home/hduser/hadoop-2.4.1/hdfs/d-add3
/dev/vdc       103081248  82327812  15494172  85% /home/hduser/hadoop-2.4.1/hdfs/d-add4

谢谢
更新此问题被标记为可能重复的磁盘空间已被“vda”文件占用,如何清除它们。这个答案与hadoop无关,也没有回答如何告诉hadoop在卷中保留可用空间的问题。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题