hadoop配置单元查询将行合并为一行

gz5pxeao  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(311)

我需要一个配置单元查询,根据优先级将相同的ean行合并到表中的一个记录中,该优先级是另一个表。
表:产品

如上图所示,我有来自不同来源(sourceid)的不同产品,我只希望通过基于以下优先级合并所有来源数据来获得一行。如果优先级“1”源未提供任何字段信息,则该字段信息将取自优先级“2”源。
表:优先级

node_id Source_id   Priority
1        62          1
1        303         2
1        202         3

我期待的结果如下所示。

byqmnocz

byqmnocz1#

实际上,可以使用collect udf基于一个字段来收集所有其他字段。
如果不想丢失任何数据,也可以使用一些嵌套数组或结构将数据放入单行中。

相关问题