当我加载数据时,hive在幕后做什么?

pb3s4cty  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(209)

我知道hive将数据作为分区保存到hadoop文件系统中。然而,当我这样做的时候,确切的过程是如何工作的 LOAD DATA 在 hive 里?
谢谢你的回答!

dzjeubhm

dzjeubhm1#

我知道hive将数据作为分区保存到hadoop文件系统中。
hive不存储数据。hive可以被认为是mapreduce计算模型之上的一个更高层次的抽象。
假设数据已经存在于hdfs中,并且表是在hive中创建的,则 LOAD DATA 命令只会将hdfs中的数据Map到配置单元中创建的表。Map存储在hivemetastore数据库中,默认情况下是derby。下面是一篇关于配置单元元存储的类型以及如何配置它们的文章。
只需在metastore数据库中插入/更新几行,这就是 LOAD DATA 指挥很快。

相关问题