由配置单元表(orc类型)指向的orc文件是否应该包含配置单元表中的所有属性?

sy5wg1nm  于 2021-06-27  发布在  Hive
关注(0)|答案(1)|浏览(292)

我有一个hive表,它指向包含多个orc文件的s3路径(s3:///table/data/)。我有一个工作,写文件到上面的前缀,但,顺序的属性是不保证(在文件中),并不是所有的属性都填充,即一些文件可能只有子集的数据。
那么,配置单元表能否用适当的列名Map列数据,并为查询的每一列返回适当的值呢?

gopyfrb3

gopyfrb31#

在orc表的情况下,不需要根据表中列的顺序读取数据。
如果不保证属性的顺序,则hive orc table根据表架构读取数据如果datatype匹配,则显示值(或)将值转换为该类型(或)null。
可能需要创建一个avro表,然后基于avro模式表将指向正确的值。

相关问题