hadoop环境变量

jchrr9hc 于 2021-06-04 发布在 Hadoop

关注(0)|答案(1)|浏览(408)

我正试图在mac上调试单节点hadoop集群的一些问题。在所有的安装文档中，它说要添加：

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

要删除此错误：

Unable to load realm info from SCDynamicStore

这是可行的，但它似乎只适用于stdout。当我检查hadoop logs目录时，在“job####/atempt####/stderr”下，错误仍然存在：

2013-02-08 09:58:23.662 java[2772:1903] Unable to load realm info from SCDynamicStore

我很难将rvm rubies加载到hadoop环境中，用hadoop流执行ruby代码。stdout正在打印rvm已加载并使用正确的ruby/gemset，但是我的stderr日志：

env: ruby_noexec_wrapper: No such file or directory

有没有办法找出hadoop执行作业的实际路径，或者它是否在调用其他环境？
进一步背景：
我使用的是通过自制安装的hadoop1.1.1。它的设置方式非常类似于“在macosxlion上安装hadoop”，并调试wukon3.0.0的实现，作为执行hadoop作业的 Package 器。

1条答案

回答我自己的问题让其他人能找到。
我似乎正在hadoop env中加载rvm，但添加之后肯定没有重新启动集群。为了确保加载了rubies和gemset，请将标准rvm子句添加到hadoop-env.sh中。比如：

[[ -s "/Users/ScotterC/.rvm/scripts/rvm" ]] && source "/Users/ScotterC/.rvm/scripts/rvm"

并确保重新启动集群，使其能够启动。奇怪的是，如果不重新启动，我的日志会显示它正在加载rvm，但它显然没有执行ruby及其相应的文件。重新启动后，它工作了。