hdfs—具有损坏副本的hadoop+块

9q78igpj  于 2021-07-15  发布在  Hadoop
关注(0)|答案(1)|浏览(457)

我们有hdp群集版本2.6.4和ambari平台
从ambari dashboard中,我们可以看到带有损坏副本的块

也来自

$ hdfs dfsadmin -report
Configured Capacity: 57734285504512 (52.51 TB)
Present Capacity: 55002945909856 (50.02 TB)
DFS Remaining: 29594344477833 (26.92 TB)
DFS Used: 25408601432023 (23.11 TB)
DFS Used%: 46.19%
Under replicated blocks: 0
Blocks with corrupt replicas: 1    <-----------------
Missing blocks: 0
Missing blocks (with replication factor 1): 0

为了找到损坏的文件,我们执行以下操作

$ hdfs fsck -list-corruptfileblocks
Connecting to namenode via http://master.sys76.com:50070/fsck?ugi=hdfs&listcorruptfileblocks=1&path=%2F
The filesystem under path '/' has 0 CORRUPT files

但正如我们在上面看到的,我们没有找到这个文件
为了删除损坏的文件,我们还执行了以下操作

hdfs fsck / -delete

但仍然 Blocks with corrupt replicas 仍然保留1
有什么建议吗?

acruukt9

acruukt91#

请考虑副本和块是两个不同的概念。
尝试使用命令:

hdfs fsck / | egrep -v '^\.+'

去了解更多不寻常的街区。

相关问题