Hadoop localhost:9870浏览器界面无法正常工作

bjg7j2ky  于 2022-11-01  发布在  Hadoop
关注(0)|答案(1)|浏览(1666)

我需要使用Hadoop进行数据分析。因此我安装了Hadoop并进行了如下配置。但是localhost:9870不起作用。甚至我每次使用它时都有format namenode。这个论坛的一些文章和答案提到9870是50070的更新版本。我有win 10。我也参考了这个论坛的答案,但都不起作用。Java-home和Hadoop-home路径都设置好了。Hadoop的bin和sbin路径也设置好了。有人能告诉我这里做错了什么吗?
我参考了这个站点来进行安装和配置。https://medium.com/@pedro.a.hdez.a/hadoop-3-2-2-installation-guide-for-windows-10-454f5b5c22d3
core-site.xml
我还在此xml中设置了Java路径。

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9870</value>
</property>

hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>C:\hadoop-3.2.2\data\namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>C:\hadoop-3.2.2\data\datanode</value>
</property>

mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

yarn-site.xml

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
eagi6jfj

eagi6jfj1#

如果您查看namenode日志,很可能会出现一个错误,指出某个端口已在使用中。
默认的fs.defaultFS端口应该是9000 -https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html;如果没有充分理由,您不应该更改它。
Namenodeweb UI不是fs.defaultFS中的值。它的默认端口是9870,由hdfs-site.xml中的dfs.namenode.http-address定义
需要做数据分析
您可以直接使用Spark、Hive、MapReduce等在Windows上进行分析,而无需使用Hadoop,并且它可以直接访问您的计算机,而不受YARN容器大小的限制。

相关问题