flink配置单元连接器:配置单元conf dir支持hdfs uri,而hadoop conf dir只支持本地路径?

1aaf6o9v  于 2021-07-15  发布在  Flink
关注(0)|答案(0)|浏览(205)

在我当前的设置中,本地dev env可以访问testing env。我想在本地dev env上运行flink job,同时从/向测试env配置单元读/写数据。
我就是这么做的:

CREATE CATALOG hive WITH (
    'type' = 'hive',
    'hive-conf-dir' = 'hdfs://testhdp273/hive/conf'
)

但是,我意识到我还需要指定一个匹配的hadoop类路径,因此我还想定义 hadoop-conf-dir 这实际上指向测试env时的hadoop类路径。然而,正如文件中所说:
hadoop conf dir的路径。仅支持本地文件系统路径。建议通过hadoop\u conf\u dir环境变量设置hadoop conf。仅当环境变量不适用于您时才使用该选项,例如,如果要分别配置每个hivecatalog。
我想知道为什么hadoop conf dir只支持本地路径,而hive conf dir支持任何合法的hdfs路径?有解决这个问题的办法吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题