高宽hbase表设计

3gtaxfhh  于 2021-06-10  发布在  Hbase
关注(0)|答案(1)|浏览(393)

我们有下面的用例,并希望找出对于表maprdb/hbase的设计的一般建议。
我们的数据由用户(比如说唯一用户名)和计数(每小时的整数值)组成,我们每10秒有10k-100k个更新db的请求。我们必须为每个用户存储8000小时的数据。我尝试用rowkey作为用户名创建单行,用8000个版本创建1个“count”列。但是我不能根据输入数据的时间来“增量”特定的版本(hbase“increment”api不支持“timestamp”参数,不像“put”)。我尝试为此行和列创建一个带有特定时间戳的keyvalue,但它只更新最新版本。
所以,现在我必须重新设计这个。这就是我需要建议的地方。创建一个行键为“username+hour”的高表,并且只有一列用于计数,并使用increment更新这一列,或者在行键为username和8000列的情况下使表变宽,这样更好吗。请注意,我将查询这个表,假设每30分钟一次,并缓存数据。这是一张写得很重的table。
非常感谢您的建议。

xjreopfe

xjreopfe1#

我们也有类似的问题。我们的数据模型介于瘦/高和厚/短之间。

相关问题