这个问题在这里已经有了答案：
配置单元外部表中的最大列数（1个应答）四年前关门了。我已经创建了一些超过800列的表。但我只看到大约500列的值。有没有什么限制或其他原因？
8i9zcol21#
根据这个答案：我不知道配置单元中关于列数的任何“硬”限制，但是在列大小上有一些限制。也就是说，对列计数的限制可能还取决于文件格式，orc具有索引和 predicate 下推的行为与文本文件不同。orc对为索引分组在一起的行数进行了配置。在hive问题中：例如，列数>1k在orc中产生内存压力，导致oom。在试验中，15k柱被加载，仅在20k柱处出现oom。答案是：选择的metastore（jetty）+数据库的可伸缩性也会影响查询的性能，并且可能会限制每次查询执行的成功率，因为每个表的列数会增加
1条答案
按热度按时间8i9zcol21#
根据这个答案：
我不知道配置单元中关于列数的任何“硬”限制，但是在列大小上有一些限制。也就是说，对列计数的限制可能还取决于文件格式，orc具有索引和 predicate 下推的行为与文本文件不同。orc对为索引分组在一起的行数进行了配置。
在hive问题中：例如，列数>1k在orc中产生内存压力，导致oom。在试验中，15k柱被加载，仅在20k柱处出现oom。
答案是：
选择的metastore（jetty）+数据库的可伸缩性也会影响查询的性能，并且可能会限制每次查询执行的成功率，因为每个表的列数会增加