从mysql到hbase的近实时同步

t9eec4r0  于 2021-06-04  发布在  Sqoop
关注(0)|答案(1)|浏览(467)

目前我在mysql到hbase的数据同步过程中遇到了一个问题,我需要一个从mysql到hbase的近乎实时的数据同步,我需要在数据同步过程中将多个mysql表合并到一个hbase表中。
我试过sqoop看起来不符合我们的要求。
那么,是否有任何现有的工具/库可用于我的案例,或者我可以尝试使用spark的任何其他解决方案。

1rhkuytd

1rhkuytd1#

考虑在hbase上使用apachephoenix。它将为您提供对存储在hbase中的数据的低延迟sql查询(因此它适用于oltp,并且易于用于olap),因此您不必担心同步。它还具有nosql特性,比如能够在查询期间动态添加列。
为了满足您的用例,您可以为oltp运行phoenix,并在读取副本上运行phoenix的第二个示例来为olap运行表联接。
http://www.cloudera.com/documentation/enterprise/5-4-x/topics/admin_hbase_read_replicas.html Secondary replicas are refreshed at intervals controlled by a timer (hbase.regionserver.storefile.refresh.period), and so are guaranteed to be at most that interval of milliseconds behind the primary RegionServer. 这个解决方案满足了您对oltp、olap和近实时同步的需求,同时为您提供了mysql不易实现的事务数据库可伸缩性。apachephoenix还提供了与hadoop生态系统的完全集成,因此它可以很好地与当前的分析堆栈集成。

相关问题