用hive生成Parquet文件

khbbv19g  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(367)

我正在尝试使用配置单元生成一些Parquet文件,为了完成此任务,我从一些.tbl文件加载了一个常规配置单元表,通过配置单元中的以下命令:
创建表区域(r\u regionkey bigint、r\u name string、r\u comment string)
以“|”结尾的行格式分隔字段存储为textfile location“/tmp/tpch generate”;
在这之后,我只执行这两行:
创建桌面Parquet地板类区域存储为Parquet地板;
插入Parquet地板区域选择*从区域;
但是当我检查在hdfs中生成的输出时,我没有找到任何.parquet文件,我发现文件名像0000\u0到0000\u21,它们的大小之和比原始tbl文件大得多。
我做错什么了?

gab6jxml

gab6jxml1#

insert语句不创建扩展名为的文件,但这些是Parquet文件。
你可以用 DESCRIBE FORMATTED <table> 显示表格信息。

hive> DESCRIBE FORMATTED <table_name>

附加说明:您还可以使用以下查询从源表创建新表:

CREATE TABLE new_test row STORED AS PARQUET AS select * from source_table

它将以parquet格式创建新表,并复制结构和数据。

相关问题