假设我在amazonelasticmapreduce上启动一个集群，拥有一个主节点示例、两个核心节点示例和15个任务节点示例。
我想我使用mapreduce作业和增量上传将大约1 tb的数据上传到hbase中。
现在-
如何查找表大小和区域拆分（字节）。通常在cdh上，我会使用hadoop fs-du/hbase。但是在我的主节点上没有/hbase目录。
我还想知道区域服务器分配将如何工作。所以，即使我有100个区域-如果我有一个主节点-这意味着整个io将被限制的权利？
谢谢问候
假设我在amazonelasticmapreduce上启动一个集群，拥有一个主节点示例、两个核心节点示例和15个任务节点示例。
我想我使用mapreduce作业和增量上传将大约1 tb的数据上传到hbase中。
现在-
如何查找表大小和区域拆分（字节）。通常在cdh上，我会使用hadoop fs-du/hbase。但是在我的主节点上没有/hbase目录。
我还想知道区域服务器分配将如何工作。所以，即使我有100个区域-如果我有一个主节点-这意味着整个io将被限制的权利？
谢谢问候
1条答案
按热度按时间o7jaxewo1#
您是否在amazonaws中使用elasticmap reduce启动了hbase集群？或者只是一个hadoop集群？
“hadoopfs-du/hbase”在emr的hbase上对我来说确实有用。你能再核对一下吗？
如果您没有预分割区域等，hbase将为您处理。至于i/o限制，请查看hbase文档/视频—当客户端需要从hbase读/写时，它将缓存根和.meta的结果。直接联系区域服务器，而不是通过主服务器。