如何配置本地安装的配置单元以使用azure datalake作为仓库？

imzjd6km 于 2021-06-26 发布在 Hive

关注(0)|答案(2)|浏览(439)

我已经在本地windows系统中安装了hive，我已经将它配置为使用mysql作为metastore，我需要将它配置为使用azuredatalake作为仓库。如何配置配置配置单元以使用azure datalake作为仓库？。

来源：https://stackoverflow.com/questions/49587018/how-to-configure-locally-installed-hive-to-use-azure-datalake-as-warehouse

2条答案

按热度按时间

tyg4sfes1#

这是可能的，但是您必须相应地配置本地hadoop系统。确保您拥有最新的adls库，并修改cores-site.xml以访问azure data lake存储：

<configuration>
  <property>
        <name>dfs.adls.oauth2.access.token.provider.type</name>
        <value>ClientCredential</value>
  </property>

  <property>
      <name>dfs.adls.oauth2.refresh.url</name>
      <value>YOUR TOKEN ENDPOINT</value>
  </property>
  <property>
      <name>dfs.adls.oauth2.client.id</name>
      <value>YOUR CLIENT ID</value>
  </property>
  <property>
      <name>dfs.adls.oauth2.credential</name>
      <value>YOUR CLIENT SECRET</value>
  </property>
  <property>
      <name>fs.adl.impl</name>
      <value>org.apache.hadoop.fs.adl.AdlFileSystem</value>
  </property>
  <property>
      <name>fs.AbstractFileSystem.adl.impl</name>
      <value>org.apache.hadoop.fs.adl.Adl</value>
  </property>  
</configuration>

一步一步的指南可以在这里找到。
最后，确保在hive-site.xml中，您的“hive.metastore.warehouse.dir”指向adl。

赞(0）回复(0）举报 2021-06-26

bybem2ql2#

这不是受支持的azure数据湖用例。azure data lake是一个基于云的数据湖，目前支持hdinsight、azure data lake analytics或azure databricks作为其计算引擎。它无法连接到配置单元的本地运行示例。

赞(0）回复(0）举报 2021-06-26