使用mapr将数据从一个卷移动到另一个卷的最快方法是什么?

e1xvtsh3  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(203)

我想把数据从一个卷移到另一个卷。文件夹和文件大小各不相同。文件可以高达100GB,但我们也可以有很多小文件。如果目标卷中的特定文件夹中有数据,则可以将其覆盖。
到目前为止,我已经尝试过了(为了演示的目的,代码已经简化了)

(1)for root, directories, files in os.walk(src):
        for file in files:
            mv -v <src> <dest>

   (2)hadoop distcp -overwrite -m100 <src> <dest>

小于10 gb,mv选项速度更快。在10 gb时,两个选项都需要大约2分钟的传输时间。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题