hbase按时间戳和计数分组

p4rjhz4m  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(185)

我想扫描整个hbase表,并获取每天在特定日期添加的记录数。因为我们没有多个版本的列,所以我可以使用最新版本的时间戳(总是一个)。
一种方法是使用map reduce。其中map扫描所有行,我们发出timestamp(实际日期)和1作为键和值。然后减速机,我将根据时间戳值进行计数。这种方法类似于基于时间戳的组计数。
有没有更好的办法?一旦实现,该作业将每天运行,以验证与其他模块(配置单元表行计数和solr文档计数)的计数。在应用程序中不同集成点的流期间,我使用它作为识别任何错误的起点。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题