如何将Parquet地板/orc设置为默认输出格式

ttvkxqim  于 2021-06-26  发布在  Hive
关注(0)|答案(2)|浏览(293)

配置单元使用文本作为默认格式,如果需要parquet/orc文件格式,则必须添加额外的“storeasparquet/orc”子句。
如何将parquet/orc设置为默认输出格式?

piwo6bdm

piwo6bdm1#

对于外部表,执行以下操作:

set hive.default.fileformat=Parquet

对于托管表,执行以下操作:

set hive.default.fileformat.managed=Parquet

这将仅为当前会话设置。如果要为整个配置单元配置设置这些属性,请在hive-site.xml中设置这些属性,然后重新启动配置单元服务。

v09wglhw

v09wglhw2#

hive.default.fileformat文件格式
默认值:textfile
添加到:配置单元0.2.0
create table语句的默认文件格式。选项有textfile、sequencefile、rcfile、orc和parquet。用户可以显式地说创建表。。。存储为textfile | sequencefile | rcfile | orc | avro | inputformat…outputformat。。。覆盖(rcfile是在hive0.6.0中添加的,orc是在0.11.0中添加的,avro是在0.14.0中添加的,parquet是在2.3.0中添加的)有关详细信息,请参阅row format、storage format和serde。
hive.default.fileformat.managed配置单元
默认值:无
添加到:Hive
1.2.0版本,hive-9915 create table语句的默认文件格式仅适用于托管表。将使用hive.default.fileformat指定的格式创建外部表。选项有none、textfile、sequencefile、rcfile、orc和parquet(从hive2.3.0开始)。保留此空值将导致对所有本机表使用hive.default.fileformat。对于非本机表,文件格式由存储处理程序确定,如下所示(有关托管/外部和本机/非本机术语的更多信息,请参阅storagehandlers部分)。

+----------+---------------------------------------------------------------------------+-------------------------------------+
|          |                                  Native                                   |             Non-Native              |
+----------+---------------------------------------------------------------------------+-------------------------------------+
| Managed  | hive.default.fileformat.managed (or fall back to hive.default.fileformat) | Not covered by default file-formats |
| External | hive.default.fileformat                                                   | Not covered by default file-formats |
+----------+---------------------------------------------------------------------------+-------------------------------------+

https://cwiki.apache.org/confluence/display/hive/configuration+properties#configurationproperties-文件格式

相关问题