在pig中动态生成新模式

8ulbf1ek  于 2021-06-25  发布在  Pig
关注(0)|答案(0)|浏览(235)

我想在pig中透视一些数据,使用我正在透视的行中的值作为列名。我事先不知道这些数值。我希望这些新列名存储为每个相关值的模式。
这与pig中的数据透视问题相同,但具有动态生成的列名。
现在我有一袋元组

{(C1, V1), (C2, V2), (C3, V3), ... (Cn, Vn)}

我想把它们改成:

dump bag;
{ (V1, V2, V3, ... Vn) }

describe bag;
bag: {C1: chararray,C2: chararray, ... , Cn: chararray}

我正在尝试用一个覆盖 outputSchema() ,但我无法访问我的列名,因为 outputSchema() 的输入应为架构对象,架构对象不允许使用 input.get(<field-num>) 访问字段值。有没有其他方法可以动态创建新模式?
我之所以热衷于使用模式,是因为我最终要导出到csv。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题