如果我使用tablemapreduceutil（hbase）创建mr作业，那么hbase scanner似乎会将数据馈送到mapper中，并将数据从reducer转换为特定的hbase输出格式以存储在hbase表中。因此，我预计hbase mapreduce作业将比本地mr作业花费更多的时间。那么，hbase的工作比原生mr要花多长时间呢？
vxf3dgd41#
在读取方面，通过hbase的速度可能比直接使用文件的本地map/reduce慢2-3倍。在最近发布的hbase 0.98中，他们添加了Map/减少hbase快照的功能。有关详细信息，请参见本演示文稿（幻灯片7用于api，幻灯片16用于速度比较）。在写操作方面，您可以直接写入hfiles，然后批量加载到hbase—但是，由于hbase缓存数据并进行批量写操作，因此您还可以对其进行调整，以获得类似或更好的结果
1条答案
按热度按时间vxf3dgd41#
在读取方面，通过hbase的速度可能比直接使用文件的本地map/reduce慢2-3倍。
在最近发布的hbase 0.98中，他们添加了Map/减少hbase快照的功能。有关详细信息，请参见本演示文稿（幻灯片7用于api，幻灯片16用于速度比较）。
在写操作方面，您可以直接写入hfiles，然后批量加载到hbase—但是，由于hbase缓存数据并进行批量写操作，因此您还可以对其进行调整，以获得类似或更好的结果