mapreduce按值列表中的每个项对输出进行分组

1tu0hz3e  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(123)

我有一份Map缩小的工作:
给定包含以下格式数据的文件:
1,a,b,。。。
2,a,c,。。。
...
a、 b,c。。。是字符串
以及此格式的另一个文件:
一些垃圾,1,y1
其他垃圾,2,y2
y1,y2是浮点数
首先,我想用数值连接两个输入。如何使用mapreduce忽略第二个文件中的垃圾部分?如果我们只使用一个Map器并向它发送两个文件,我们如何区分这两个输入?
我的最终输出格式如下:
a、 y1型
b、 y1型
a、 2年
c、 2年
如何设计这个程序?我的问题是,在给定的时间,不管字符串列表是在一个键中还是在一个值中,我们最终都需要在reducer中拆分它们,并为列表中的每个项形成一个不同的键。换句话说,给定一个字符串列表和与之关联的另一个y,我们如何使用map reduce输出所有对(列表中的字符串,y)?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题