pig获得具有计数的不同行

zpqajqem 于 2021-06-25 发布在 Pig

关注(0)|答案(1)|浏览(344)

我有一个pig表（称为table1），其中包含许多重复项和多个列（称为col1，col2）
下面是一个简单的例子

| col1 | col2 |
-----------------
|  111 | bbb |
|  111 | ccc |
|  111 | bbb |
|  222 | bbb |

我想用它们的外观计数得到不同的行（比如在bash中使用uniq-c），这样的结果将是：

| count |col1 | col2 |
-----------------
|  2 | 111 | bbb |
|  1 | 111 | ccc |
|  1 | 222 | bbb |

这种命令的语法是什么？

1条答案

请尝试以下操作：

A = LOAD 'data'....;
GR = GROUP A by (col1,col2);
CNT = FOREACH GR GENERATE FLATTEN (group) AS (col1,col2) , COUNT(A) as cnt_col;
dump CNT;