有可能将mapr与纯apachehadoop结合起来吗?

dpiehjr4  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(358)

我是hadoop的新手。
我听说mapr是挂载hadoop hdfs的更好方法,而不是fuse。
但是大多数相关的文章只是描述了maprhadoop而不是纯粹的apachehadoop。
有人有用mapr安装纯apachehadoop的经验吗?
提前谢谢。

o3imoua4

o3imoua41#

mapr不仅仅是一种挂载hdfs的方法。
mapr包括hadoop和许多apache生态系统组件以及许多其他非apache组件,比如级联。它还包括lucidworks,其中包括solr。
mapr还包括一个称为maprfs的hdfs的重新实现。maprfs具有更高的性能,具有读写语义,允许在写过程中读取,支持事务性正确的镜像和快照,没有名称节点,在没有联邦化的情况下扩展,本质上是ha,没有ha namenode的所有混乱,可以通过分布式nfs系统访问。
哦,除了通过nfs的posix ish访问和hdfs api之外,maprfs还支持hbase api。
mapr中的map reduce层已经部分重写,以利用文件系统的极高性能。这就是mapr在去年秋天打破分种记录的原因。
所以抛开命名不谈,mapr包含了所有的开源软件,您可以从任何其他发行版获得这些软件,而且还有更多。”“纯hadoop”几乎毫无用处。你需要Pig和/或Hive。你可能应该看看层叠/烫伤。你可能需要帮手。您肯定需要将您的系统连接到遗留数据源和报告系统,这正是nfs使之变得容易的地方。
请记住,通过nfs或fuze安装hdfs并不能让您到达您想要的位置。hdfs没有合适的语义来通过nfs或普通的文件系统api进行访问。只是妥协太多了。
另一方面,使用mapr,您甚至可以通过nfs在集群文件系统上运行mysql或postgress之类的数据库。
mapr有三个版本。
m3是免费的,它提供了所有的性能和可伸缩性,但将您限制在单个nfs服务器上,并且没有镜像、快照、卷位置或与hbase兼容的api(当然,您可以运行hbase本身)。ha也以m3为单位降级,因此需要一个小时才能对某些功能进行故障切换。
m5在免费试用期后需要花钱,并提供快照、镜像、将一些数据强制传输到不同拓扑和无限nfs服务器的能力。
m7还需要花钱,并将hbase api添加到m5所能做的一切中。
更多信息请访问mapr.com。

yk9xbfzb

yk9xbfzb2#

总结一下特德说的话,
你不是真的在用mapr安装纯apachehadoop吗。hadoop不应该与hdfs混淆。虽然它们在会话期间往往是可互换的,但hdfs显式地引用了实际的分布式文件系统(因此hdfs中的dfs)。hdfs必须使用特定的hadoop命令进行交互,即“hadoop-dfs-ls/”将列出hdfs的根目录。
mapr超越了hadoop提供的默认值。首先,您可以使用更高效的maprfs(hdfs的重写)与文件系统交互。您可以做的另一件事实际上是nfs挂载hdfs/maprfs,这样您就可以在本地操作文件系统,而不必做任何特殊的操作。它被视为任何其他nfs文件系统,除了在本例中,它分布在集群中。

相关问题