共享的外部配置单元元存储如何依赖于hdinsight(hadoop)集群的特定版本?

7d7tgy0s  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(263)

假设我们有一个外部配置单元元存储,然后我们有一堆hadoop(hdinsight)集群,当需要处理时,我们会删除和创建这些集群,这些集群使用这个共享配置单元元存储。在某个阶段,我们将开始使用hdinsight的较新版本创建这些集群,并在较新版本可用时创建这些集群。现在,假设外部元存储在所有这些过程中保持不变(它不会被重新创建),它会为hdinsight的未来版本带来问题吗?或者每次我们开始使用新版本的hdinsight时,我们也必须将外部元存储迁移到新版本?hive元存储和hdinsight集群之间的这种关系是如何实现的?
所谓配置单元元存储的“版本”,我的意思是——在某个时间点,特定的外部配置单元元存储不存在,然后将创建第一个hdinsight(hadoop)集群,并在集群创建过程中指定空的sql server数据库示例。作为集群创建的一部分,承载配置单元元存储的数据库将填充配置单元元数据。所以这就是我所说的metastore的“version”的意思——可能它得到的版本与与创建的特定hdinsight集群版本相关联的配置单元组件的版本相同。

56lgkhnf

56lgkhnf1#

注意:当针对现有自定义元存储数据库创建新的更高版本的azure hdinsight时,系统将升级元存储的架构,这在不从备份还原数据库的情况下是不可逆的。
如果跨多个集群共享元存储,请确保所有集群的hdinsight版本相同。不同的配置单元版本使用不同的元存储数据库模式。例如,您不能跨Hive2.1和Hive3.1版本化集群共享元存储。
有关更多详细信息,请参阅“配置单元元存储最佳实践”。
希望这有帮助。

相关问题