如何从hdfs中删除特定块

7lrncoxx  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(366)

如何从hdfs中删除文件的特定块?
我在hdfs中加载了一个1tb文件,发现有一个块被fsck命令损坏了。我用它来测试,所以我没有在hdfs中创建文件的副本。现在,简单的解决方案是删除整个文件并重新加载整个文件。但仅仅因为128mb的损坏记录,加载整个文件(~1tb数据)似乎效率低下。
因此,对于我的用例来说,丢失一些记录是可以的(这只是一个poc)。有没有什么方法可以删除损坏的块并使用其余的数据?
任何建议都将不胜感激。

yhqotfr8

yhqotfr81#

您可以使用-hdfs fsck/-delete命令列出丢失块的损坏情况,并按照本文进行修复。

相关问题