sparkshell不扩展hadoop配置的变量

vxbzzdmp  于 2021-05-31  发布在  Hadoop
关注(0)|答案(0)|浏览(204)

在hadoop中,我可以在配置文件中使用变量,hadoop将使用现有键或 -Dvariable_name=valueHADOOP_OPTS .
例如,给定 core-site.xml :

<configuration>

  <property>
    <name>fs.defaultFS</name>
    <value>${fs.defaultFS}</value>
  </property>

</configuration>

在启动hdfs时,我设置了一个环境变量 HADOOP_OPTS=-Dfs.defaultFS=<value> hadoop将在 core-site.xml 在中使用选项 HADOOP_OPTS .
在sparkshell中,它不展开变量,而是使用它们的文本值 ${fs.defaultFS} .

...
Caused by: java.net.URISyntaxException: Illegal character in authority at index 7: hdfs://${fs.defaultFS}
  at java.net.URI$Parser.fail(Unknown Source)
  at java.net.URI$Parser.parseAuthority(Unknown Source)
  at java.net.URI$Parser.parseHierarchical(Unknown Source)
  at java.net.URI$Parser.parse(Unknown Source)
  at java.net.URI.<init>(Unknown Source)
  ... 66 more

如何生成hadoop配置变量?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题