ignite环境变量设置

h9vpoimq 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(402)

我正在为apachehadoop使用apacheignitehadoop加速器。当我在~/.bashrc文件ignite.sh中使用此配置时，它可以正常工作，但hadoop不能工作并显示错误。
错误：无法找到或加载主类org.apache.hadoop.util.versioninfo

export HADOOP_PREFIX=/app/hadoop 
export HADOOP_HOME=$HADOOP_PREFIX
export HADOOP_COMMON_HOME=$HADOOP_HOME/share/hadoop/common
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export HADOOP_HDFS_HOME=$HADOOP_PREFIX
export HADOOP_MAPRED_HOME=/app/hadoop/share/hadoop/mapreduce
export HADOOP_YARN_HOME=$HADOOP_PREFIX
export PATH=$PATH:$HADOOP_PREFIX/sbin:$HADOOP_PREFIX/bin

export IGNITE_HOME=/app/ignite2/apache-ignite-hadoop-1.9.0-bin

我试图改变设置。

export HADOOP_PREFIX=/app/hadoop
export HADOOP_HOME=$HADOOP_PREFIX
export HADOOP_COMMON_HOME=$HADOOP_PREFIX
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export HADOOP_HDFS_HOME=$HADOOP_PREFIX
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX 
export HADOOP_YARN_HOME=$HADOOP_PREFIX
export PATH=$PATH:$HADOOP_PREFIX/sbin:$HADOOP_PREFIX/bin

然后hadoop工作正常，但ignite显示错误

Ignite node stopped OK [uptime=00:00:02:626]
java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataOutputStream

我也试图使软链接，但没有工作。告诉我是否遗漏了什么。

hadoop Ignite

来源：https://stackoverflow.com/questions/43039832/apache-hadoop-accelerator-ignite-environment-variable-setup

2条答案

按热度按时间

xggvc2p61#

通常（对于apache、hortonworks、cloudera等标准发行版）ignite仅基于hadoop\u home环境变量值猜测所有hadoop库位置，因此，通常不需要显式指定hadoop\u common\u home、hadoop\u hdfs\u home、hadoop\u mapred\u home。但是，如果您使用的是某些特定的hadoop发布布局，那么可以指定这3个变量，在这种情况下，它们（而且只有它们）将用于定位hadoop库。如果您的hadoop发行版需要这些变量的值，而这些值与ignite所需的值相矛盾，那么您可能必须为hadoop和ignite节点进程使用不同的环境。
ignite将使用与上述3个值相关的以下库：

${HADOOP_COMMON_HOME}/lib/*
${HADOOP_COMMON_HOME}/hadoop-common-*
${HADOOP_COMMON_HOME}/hadoop-auth-*

${HADOOP_HDFS_HOME}/lib/*
${HADOOP_HDFS_HOME}/hadoop-hdfs-*

${HADOOP_MAPRED_HOME}/lib/*
${HADOOP_MAPRED_HOME}/hadoop-mapreduce-client-common*
${HADOOP_MAPRED_HOME}/hadoop-mapreduce-client-core*

+ ${HADOOP_USER_LIBS}, if defined.

赞(0）回复(0）举报 2021-05-29

cngwdvgl2#

异常意味着ignite节点在类路径上没有hadoop库。请参阅hadoop加速器安装说明：https://apacheignite-fs.readme.io/docs/installing-on-apache-hadoop

赞(0）回复(0）举报 2021-05-29