如何通过hadoop将两个不同订阅上的数据湖存储连接起来?

inn6fuwd  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(221)

到目前为止,问题是..是否可以通过hadoop本地挂载/连接两个不同订阅上的azure data lake存储?我的目标是能够编程调用复制文件和文件夹从一个dls到另一个。
我遵循这个指南,它显示了如何工作,只有一个日常生活用品,我设法做到这一点。通过谷歌搜索,我没有找到anthing,因此我尝试修改core-site.xml,使其能够从两个DL中读取内容,如下所示:

<configuration>
    <property>
        <name>dfs.adls.oauth2.access.token.provider.type</name>
        <value>ClientCredential</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.refresh.url</name>
      <value>xxxx</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.refresh.url</name>
      <value>xxxxx</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.client.id</name>
      <value>yyyy</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.client.id</name>
      <value>yyyyyyy</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.credential</name>
      <value>xxyyxh</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.credential</name>
      <value>gsgsdgsdg</value>
    </property>
    <property>
      <name>fs.adl.impl</name>
      <value>org.apache.hadoop.fs.adl.AdlFileSystem</value>
    </property>
    <property>
      <name>fs.AbstractFileSystem.adl.impl</name>
      <value>org.apache.hadoop.fs.adl.Adl</value>
    </property>
</configuration>

但这样我仍然只能访问一个dls…一个想法?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题