我按照这里的指示做http://saphanatutorial.com/hadoop-installation-on-windows-7-using-cygwin/ 使用cygwin(64位)运行hadoop。在我跑之前一切都很好 ./start-dfs.sh
. 错误是
$ ./start-dfs.sh
]tarting namenodes on [localhost
: Name or service not knownstname localhost
localhost: starting datanode, logging to /cygdrive/c/Cygwin64/usr/local/hadoop/logs/hadoop-KennyT-datanode-DESKTOP-6I19F66.out
]tarting secondary namenodes [0.0.0.0
: Name or service not knownstname 0.0.0.0
我配置了以下内容:
环境变量:
HADOOP_HOME: C:\cygwin64\usr\local\hadoop
JAVA_HOME: C:\Java\bin
Path: C:\cygwin64\usr\local\hadoop\bin;C:\cygwin64\bin; C:\Java\bin
hadoop-env.sh文件:
export JAVA_HOME="/cygdrive/c/Java/"
core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/c:/cygwin64/usr/local/hadoop/hadoop-dir/namedir</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/c:/cygwin64/usr/local/hadoop/hadoop-dir/datadir</value>
</property>
</configuration>
mapred-site.xml文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml文件
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
注意事项:
64位窗口,hadoop 2.7.1 java -version
以及 hadoop version
两者都成功执行。所以,我想环境设置没有问题。
sshd服务正在运行,端口22打开。 ssh localhost
以及 telnet localhost 22
都很成功。
我在windows上禁用了ipv6,但结果是一样的。
在hadoop-env.sh中,我替换 "export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
与 "export HADOOP_OPTS="$HADOOP_OPTS -XX:-PrintWarnings -Djava.net.preferIPv4Stack=true"
但运气不好。 hadoop namenode -format
已成功。
是的 dos2unix.exe file
每当我更改文件内容时
我在没有使用上述设置的cygwin的情况下成功运行了hadoop。所以,我猜这些文件中的设置没有问题(核心站点、hdfs站点、mapred站点、yarn站点)
我尝试在一台机器上运行hadoop和cygwin。然后将其扩展为在不同的机器上以集群的形式运行hadoop和cygwin。但我被困住了。请帮帮我。
暂无答案!
目前还没有任何答案,快来回答吧!