插入覆盖vs删除hdfs分区并在spark中写入Parquet文件

ggazkfy8 于 2021-06-28 发布在 Hive

关注(0)|答案(0)|浏览(245)

Parquet地板在使用过程中是否存在重大性能问题

hiveContext.sql("INSERT OVERWRITE TABLE table_name PARTITION(dt='2016-06-08', country) , select x,y,z,country from DFTmpTable");

VS

DeleteHDFSfile(/table/dt='2016-06-08')
DF.write().mode("append").partitionBy("dt","country").parquet("/table/dt='2016-06-08'")

Hive apache-spark partitioning

来源：https://stackoverflow.com/questions/39810659/insert-overwrite-vs-delete-hdfs-partition-and-write-parquet-file-in-spark