hive模式删除非常慢配置单元能否在数据库上并行执行drop table语句?

prdp8dxp  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(458)

我有一个配置单元数据库,里面有2000多个表。当我打算使用“dropdatabaseif exists mydb cascade”删除整个数据库时,需要花费超过6.5个小时的时间,这取决于有关分区的元数据增加时的数据大小。
我不能直接连接到hivemetastore(在我们的例子中是postgress)drop数据库,因为我们受到限制。
所以我开始考虑使用线程并行删除表的选项。我可以看到我的线程正在生成,但配置单元正在逐个删除表。和以前完全一样的时间。
但是,当我使用多线程代码创建表时,它将在更短的时间内完成。与非线程代码相比。
我已将hive.support.concurrency设置为true。
它是由hive设计的,它在数据库上一个接一个地执行drop表语句。
它是hortonworks集群配置单元版本:apache配置单元1.2.1 spark版本:2.3.2
它相当于hortonworks沙盒2.6.5环境

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题