athena无法用lazysimpleserde解析集合

j91ykkif 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(380)

在使用lazysimpleserde时，aws athena似乎无法正确加载收集字段；设置collection.delim似乎没有效果，例如，这样使用时：

WITH SERDEPROPERTIES (
'serialization.format' = '|',
'field.delim' = '|',
'collection.delim' = ',',
'line.delim' = '\n',
'mapkey.delim' = '@'
)

这看起来是在本地运行的（在一个稍有不同的hadoop版本上），但不是在emr上。
有没有办法从tsv文件或类似的athena文件加载收集字段？

1条答案

显然，当前（2017年9月）的Hive版雅典娜包含一个字段名输入错误：它被称为“colelction.delim”（参考，相关修复）。
在发布修复程序之前，使用排版确实有效：

WITH SERDEPROPERTIES (
'serialization.format' = '|',
'field.delim' = '|',
'colelction.delim' = ',',
'mapkey.delim' = '@'