我在基于HDFS的存储上有一些HAR文件(Hadoop归档文件),其中包含一些不经常使用的归档数据。现在,我们计划迁移到基于CEPH的存储。因此,我有两个问题:1.我可以在CEPH上使用现有的HAR文件吗?
ttygqcqt1#
我已经有一段时间没有使用Hadoop了,但我可以回答以下问题:
虽然我确信Ceph中没有对HAR的官方支持,但我认为这仍然是可能的,因为Ceph文件系统可以用作Hadoop文件系统(HDFS)的替代品。
因为我每天都在使用Ceph,所以我还没有在Ceph中遇到过类似HAR的归档工具。正如你所知道的,HAR使用.tar扩展名。因此,我一直在使用压缩的tarball。对于块设备,我将tarball存储为Ceph RBD (rados block device)卷。如果我使用对象,我将tarball归档为RGW对象。为了进一步帮助您,我将分享一些有用的线索,以便您更深入地了解:
1条答案
按热度按时间ttygqcqt1#
我已经有一段时间没有使用Hadoop了,但我可以回答以下问题:
虽然我确信Ceph中没有对HAR的官方支持,但我认为这仍然是可能的,因为Ceph文件系统可以用作Hadoop文件系统(HDFS)的替代品。
因为我每天都在使用Ceph,所以我还没有在Ceph中遇到过类似HAR的归档工具。正如你所知道的,HAR使用.tar扩展名。因此,我一直在使用压缩的tarball。对于块设备,我将tarball存储为Ceph RBD (rados block device)卷。如果我使用对象,我将tarball归档为RGW对象。
为了进一步帮助您,我将分享一些有用的线索,以便您更深入地了解: