配置单元或hbase或solr

hpcdzsge  于 2021-06-09  发布在  Hbase
关注(0)|答案(0)|浏览(199)

只是张贴这个想法什么是一个很好的工具选择,以更好地满足以下要求
db2中的一个大表,包含state列、2个整数列、1个timestamp列和2个blob列。这两个blob列压缩了xml gzip。需求是将这些数据卸载到hadoop中,并且能够基于状态和/或2个整数列和/或timestamp列(一个或多个列的组合)进行查询。在hive中,根据state列对数据进行分区是有意义的,可能还会根据id列对bucket进行分区。这仍然不是最优的,因为仅仅用这些id或时间范围进行搜索需要更长的时间。
然后我开始倾向于使用hbase来存储这些数据,其中一个id列是键,但是再次搜索其他列并不是最佳选择。然后我看了一下solr,看看是否所有的搜索列都可以被编入索引,这样就更快了。
我不知道该怎么做。任何方向都是有价值的。
更新时间:
查询模式
按州
按州和id1。基于时间戳列的id1最新版本
按州,id1,id2。最新基于时间戳列。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题