apache pig dse pig flatten用法

yhived7q  于 2021-06-25  发布在  Pig
关注(0)|答案(1)|浏览(329)

我应该什么时候在Pig身上用扁豆?无法从文档中理解。在pig中显示的错误消息和问题完全不同。它说,有时压扁不能进口,但同样的压扁工程的地方。

neekobn8

neekobn81#

每当您对数据文件中的任何标识符使用group命令时,它都会列出一个包中与标识符相关的所有元组,有时读取起来相当麻烦。因此,如果在group子句顶部使用flatten,它将在输出文件中分别列出所有元组。使用flatten的缺点是同一记录的复杂性。因此要删除dulpicate,需要编写额外的代码。
非平坦代码示例:

X = GROUP A BY f1;

DUMP X;

(1,{(1,2,3)})

(4,{(4,2,1),(4,3,3)})

(8,{(8,3,4)})

扁平代码示例:

X = GROUP A BY f1;

DUMP X;

(1,2,3)

(4,2,1)

(4,3,3)

(8,3,4)

相关问题