mapreduce中的java聚合

h9vpoimq  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(323)

关闭。这个问题需要更加突出重点。它目前不接受答案。
**想改进这个问题吗?**通过编辑这篇文章更新这个问题,使它只关注一个问题。

6年前关门了。
改进这个问题
如何在.csv中找到列的最大和最小元素。
我们应该传递什么到上下文中。编写Map器的(键,值)。
是否是csv文件的每一列?
解决方案

qacovj5a

qacovj5a1#

这个问题有点宽泛,但我要咬一口。
Map器用于将值Map到键。假设您的csv有4列带有数字值:
42, 71, 45, 22
将一个键Map到每个值;实际上,csv中的头是什么样子的。假设第4列表示“小部件的数量”。您需要将“numberofwidgets”Map为Map器中第4列值的键。
减速机将获得给定键的所有值。这就是你计算最小值/最大值的地方。你只需迭代所有键的值,并跟踪最小值和最大值。

w8f9ii69

w8f9ii692#

Map器应该转置文件-对于读取的每一行,将键作为列号,将值作为列的值。
reducer应该最小/最大。对于每个输入键,发出找到的最小值和最大值。

相关问题