如何增加Parquet文件大小插入 Impala ？

o0lyfsai 于 2021-06-26 发布在 Impala

关注(0)|答案(0)|浏览(243)

impala语句insert into partition（…）select*from在每个分区中创建许多~350 mb的Parquet文件。
Parquet数据文件使用1gb的块大小，因此在决定如何细分数据分区时，请尝试找出每个分区包含1gb或更多数据的粒度，而不是创建大量在许多分区之间分割的较小文件
我使用impala版本1.1.1。
如何增加Parquet文件的大小？

impala avro Insert

来源：https://stackoverflow.com/questions/20056590/how-to-increase-parquet-file-size-inserted-with-impala