我想从应用的Angular 来理解hbase的mapreduce，需要一些真实的it用例来更好地理解编写这些作业的高效用例。如果有任何文档或示例的链接可以解释真实的用例，请分享。
8cdiaqws1#
请查看1中给出的用例。在这里。2这里有一个小参考-30.3。这里可能是一个端到端的例子最后，这完全取决于您对每个概念图的理解，减少hbase，并根据您在项目中的需要使用它。同样的任务可以通过map reduce或不通过map reduce来完成。快乐编码
yjghlzjz2#
我可以根据我的用例给出一些例子。如果您已经将数据存储在hbase中，那么可以编写一个java程序，扫描一个表并执行一些操作，然后将输出写入hbase或其他地方。或者你也可以使用mapreduce来做同样的事情。不同的是，mapreduce将在数据所在的位置运行，而网络流量仅用于结果数据。我们有每小时的工作来计算KPI的总和和平均值，对于这个任务来说，输入数据是巨大的，但输出数据是微小的。如果我没有使用mapreduce，我需要在18gb的网络上移动一小时的数据。但是mapreduce的输出只有1mb，我可以将它写入hbase、文件或其他地方。mapreduce还为您提供了并行任务执行能力，您可以在java中使用这种能力，但原因是：）请记住，yarn根据hbase表的拆分计数创建Map任务。因此，如果您需要更多的Map任务，请拆分您的表。如果您已经将数据存储在hadoophdfs中，那么幸运的是，从hdfs读取mapreduce要比从hbase读取快得多。如果需要，还可以将mapreduce输出写入hbase。
2条答案
按热度按时间8cdiaqws1#
请查看1中给出的用例。在这里。2这里有一个小参考-30.3。这里可能是一个端到端的例子
最后，这完全取决于您对每个概念图的理解，减少hbase，并根据您在项目中的需要使用它。同样的任务可以通过map reduce或不通过map reduce来完成。快乐编码
yjghlzjz2#
我可以根据我的用例给出一些例子。如果您已经将数据存储在hbase中，那么可以编写一个java程序，扫描一个表并执行一些操作，然后将输出写入hbase或其他地方。或者你也可以使用mapreduce来做同样的事情。不同的是，mapreduce将在数据所在的位置运行，而网络流量仅用于结果数据。我们有每小时的工作来计算KPI的总和和平均值，对于这个任务来说，输入数据是巨大的，但输出数据是微小的。如果我没有使用mapreduce，我需要在18gb的网络上移动一小时的数据。但是mapreduce的输出只有1mb，我可以将它写入hbase、文件或其他地方。
mapreduce还为您提供了并行任务执行能力，您可以在java中使用这种能力，但原因是：）
请记住，yarn根据hbase表的拆分计数创建Map任务。因此，如果您需要更多的Map任务，请拆分您的表。
如果您已经将数据存储在hadoophdfs中，那么幸运的是，从hdfs读取mapreduce要比从hbase读取快得多。如果需要，还可以将mapreduce输出写入hbase。