配置单元更新分区与msck修复

jhdbpxl9 于 2021-07-13 发布在 Hive

关注(0)|答案(1)|浏览(337)

我有一张有几千个分区的table。我想将所有分区位置更改为diff cluster。前任：
对于表test\u table and partition day=2021041600
旧位置： hdfs://cluster1/dir1/dir2/day=2021041600/\<files> 新位置： hdfs://cluster2/dir1/dir2/day=2021041600/\<files> 我可以用两种方法来实现这一点。
我们可以获取所有分区的列表，并按1更新每个分区的分区位置。
我们可以更改表的基本位置，并在表上运行msck repair命令。
我的问题是，我们最好采取哪种方法？

Hive bigdata Partition hive-partitions hiveddl

来源：https://stackoverflow.com/questions/67120272/hive-update-partition-vs-msck-repair

1条答案

按热度按时间

6gpjuf901#

第一种方法有效。
第二种方法（msck修复）： MSCK REPAIR 如果您更改表位置，将不起作用，因为分区已装入表位置之外的旧位置。
使表成为外部表、放置、使用新位置创建、运行msck修复：

alter table test_table  SET TBLPROPERTIES('EXTERNAL'='TRUE');  

drop table test_table;

create table test_table ... location 'hdfs://cluster2/dir1/dir2';

MSCK REPAIR TABLE test_table;

赞(0）回复(0）举报 2021-07-13

我来回答

配置单元更新分区与msck修复

1条答案

相关问题

热门标签

最新问答