将数据流作为pig中的json对象

yacmzcpb  于 2021-06-25  发布在  Pig
关注(0)|答案(1)|浏览(237)

我有一个脚本,它以hadoc格式在输入和输出中获取复杂的json对象(每行一个)。我想用pig来流一些数据通过这个脚本使用流。如何强制pig以json格式将数据发送到流媒体?我在找这样的东西

C = stream A through `stream.py` USING JsonStorage()
ecbunoof

ecbunoof1#

在pig中似乎还没有这样的实现。最好的替代方法可能是使用tojsonudf,它输出一个json字符串,然后在流函数中将字符串作为json对象加载,例如,使用python的json.loads(inputstring)。

相关问题