hadoop—在hdinsight 4.0中创建集群期间更改配置单元管理表的默认路径

ki1q1bka  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(250)

我有一个hdinsight(hadoop)4.0集群。配置单元管理的表的默认路径是hive/warehouse/managed,它位于集群的默认存储帐户中。我希望默认的配置单元管理路径指向附加到同一群集的其他存储帐户。原因是,很多时候我可能会删除并重新创建集群,而每次我都必须删除默认存储帐户的默认容器,否则集群创建将失败——或者每次都指定一个新容器。它造成了一种棘手的情况,即在早期集群示例化期间创建的托管表一直指向旧的默认容器。我知道这是可以防止的,如果我们指定 LOCATION 在创建托管表的过程中显式执行,但我不希望任何内容驻留在默认容器中,即使 LOCATION 我正在尝试从集群元数据中隔离数据,这是默认容器的用途。我希望这是在集群创建期间完成的(而不是通过ambari创建集群后)。我们如何做到这一点?我在azure的集群创建ui中没有看到任何这样的选项。

tvokkenx

tvokkenx1#

不幸的是,您不能通过使用azureportal创建hdinsight集群来更改托管表的默认路径。
在创建hdinsight集群之前:如果要在创建集群之前进行修改,可以使用“引导脚本”。
引导脚本允许您以编程方式在azure hdinsight中安装和配置组件。
在创建hdinsight群集时,有三种方法可以设置配置文件设置:
使用azure powershell
使用.net sdk
使用azure资源管理器模板
有关更多详细信息,请参阅“使用引导脚本自定义hdinsight群集”。
创建hdinsight群集后:
您可以将其他群集添加到azure门户的自定义元存储以及ambari配置(配置单元-->高级)中。


配置单元管理的表的默认位置是配置单元仓库。配置单元仓库的位置由hive-site.xml文件中的hive.metastore.warehouse属性设置:

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/hive/warehouse</value>
  <description>location of default database for the warehouse</description>
</property>

希望这有帮助。

相关问题