Impala :从mysql dump创建Parquet地板

ffx8fchx  于 2021-06-26  发布在  Impala
关注(0)|答案(1)|浏览(277)

我有mysql转储文件,如何用impala将它们转换成Parquet文件格式?
我知道我可以从csv创建Parquet文件,但我想直接创建Parquet文件没有这个双重步骤。

kt06eoxx

kt06eoxx1#

我通常使用两个步骤的过程,但我相信有更好的方法。我们使用这种方式保持Parquet桌在线,以便在更新过程中有尽可能多的不间断服务。

sqoop import --table <mysql_table> --hive-import --hive-table <hive_text_table>

impala-shell -i <impala_ip_addr> -q 'use <db>; INVALIDATE METADATA <hive_text_table>; CREATE TABLE <parquet_table> LIKE <hive_text_table> STORED AS PARQUET; INSERT OVERWRITE <parquet_table> SELECT * FROM <hive_text_table>;'

有点啰嗦,但以防万一你得不到其他答案。

相关问题