使用map reduce算法创建rtree?

nkoocmlb  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(289)

在当前场景中,我有一个rtree示例,在其中我添加了数百万条记录,创建这些记录大约需要1小时。我想知道是否可以使用多个Map器来创建多个rtree&然后在reducer中合并它们来创建最终的rtree?是否有特定的合并rtree技术可用?我该怎么解决这个问题?谢谢你的帮助?

yxyvkwin

yxyvkwin1#

你考虑过批量装载索引吗?常见的批量装载策略是基于排序的,这是一个很好的理解如何在一个分布式的,可扩展的方式。这样,我就在几秒钟内建立了拥有数百万条记录的r-树。

相关问题