我应该什么时候在Pig身上用扁豆?无法从文档中理解。在pig中显示的错误消息和问题完全不同。它说,有时压扁不能进口,但同样的压扁工程的地方。
neekobn81#
每当您对数据文件中的任何标识符使用group命令时,它都会列出一个包中与标识符相关的所有元组,有时读取起来相当麻烦。因此,如果在group子句顶部使用flatten,它将在输出文件中分别列出所有元组。使用flatten的缺点是同一记录的复杂性。因此要删除dulpicate,需要编写额外的代码。非平坦代码示例:
X = GROUP A BY f1; DUMP X; (1,{(1,2,3)}) (4,{(4,2,1),(4,3,3)}) (8,{(8,3,4)})
扁平代码示例:
X = GROUP A BY f1; DUMP X; (1,2,3) (4,2,1) (4,3,3) (8,3,4)
1条答案
按热度按时间neekobn81#
每当您对数据文件中的任何标识符使用group命令时,它都会列出一个包中与标识符相关的所有元组,有时读取起来相当麻烦。因此,如果在group子句顶部使用flatten,它将在输出文件中分别列出所有元组。使用flatten的缺点是同一记录的复杂性。因此要删除dulpicate,需要编写额外的代码。
非平坦代码示例:
扁平代码示例: