使用pig合并两个文件

cyej8jka  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(387)

我有两个文件要合并在一起。这两个文件的格式如下-第一个文件(f.txt)

Siler 1001
Gold  8009

第二个文件(s.txt)

Apple 100
Banana 200

我希望最终合并的文件看起来像-

Siler 1001
Gold  8009
Apple 100
Banana 200

我一直在尝试使用下面的代码来做这个-

data1 = LOAD 'f.txt' AS name:chararray, num:int;
data2 = LOAD 's.txt' AS name:chararray, num:int;
data3 = UNION data1, data2;
data4 = GROUP data3 BY name;
data5 = FOREACH data4 GENERATE group, data3.num;
STORE data5 INTO 'final.txt';

但是代码的输出是-

Silver {(1001)})
Gold {(8009)}
Apple {(100)}
Banana {(200)}

我希望输出数据像上面提到的那样。任何关于我如何做到这一点的建议。

swvgeqrz

swvgeqrz1#

无需对数据进行分组,因为所需的输出是具有相同模式的两个文件的简单合并。只需要一个简单的结合。除非您有需要添加num的重复项,在这种情况下,您必须进行分组和求和。

data1 = LOAD 'f.txt' AS name:chararray, num:int;
data2 = LOAD 's.txt' AS name:chararray, num:int;

data3 = UNION data1, data2;

STORE data3 INTO 'final.txt';

相关问题