hadoop:datanode进程正在运行但不工作?

brqmpdu1  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(300)

最近我们一直在尝试安装hadoop集群。有时成功,但大多数时候失败。我根据官方文件和一些高质量的博客进行配置。
我遇到的问题是:所有进程(包括namenode、datanode、nodemanager、resourcemanager)都可以通过以下命令看到: jps 但是奴隶们实际上没有工作。我无法在web界面中看到它们master:8088 or master:50070
有人说是重复namenode格式和id冲突造成的。我认为这不是我的问题,因为datanode从一开始就不工作,datanode文件夹总是空的。
这种现象还有其他可能的原因吗?我真的很难设置集群。
细节:
hadoop软件version:3.0.0-alpha2
hdfs dfsadmin-report的输出为:

Configured Capacity: 492017770496 (458.23 GB)
Present Capacity: 461047037952 (429.38 GB)
DFS Remaining: 460770820096 (429.13 GB)
DFS Used: 276217856 (263.42 MB)
DFS Used%: 0.06%
Under replicated blocks: 10069
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (1):

Name: 127.0.0.1:9866 (localhost)
Hostname: sr145.local.lan
Decommission Status : Normal
Configured Capacity: 492017770496 (458.23 GB)
DFS Used: 276217856 (263.42 MB)
Non DFS Used: 5954019328 (5.55 GB)
DFS Remaining: 460770820096 (429.13 GB)
DFS Used%: 0.06%
DFS Remaining%: 93.65%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sun Jan 02 02:52:57 CST 2000

**只有一个活动数据节点是主节点的同一节点。**所有其他从属节点都不是活动的。

配置详细信息:1,hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>sr145:9001</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/hdfs/namenode</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/hdfs/datanode</value>
    </property>
</configuration>

2、core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>Abasefor other temporary directories.</description>
    </property>

</configuration>

3、yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.manager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>sr145</value>
        </property>
        <property>
           <name>yarn.resourcemanager.address</name>
           <value>sr145:8032</value>
        </property>
        <property>
           <name>yarn.resourcemanager.scheduler.address</name>
           <value>sr145:8030</value>
        </property>
        <property>
           <name>yarn.resourcemanager.resource-tracker.address</name>
           <value>sr145:8035</value>
        </property>
        <property>
           <name>yarn.resourcemanager.admin.address</name>
           <value>sr145:8033</value>
        </property>
        <property>
           <name>yarn.resourcemanager.webapp.address</name>
           <value>sr145:8088</value>
        </property>
</configuration>

所有节点的配置几乎相同,只是hdfs-site.xml natenode或datanode配置不同。这个 workers 以及 slaves $hadoop\u home/etc/hadoop中的文件也会被编辑。与原始状态相比,不移动任何文件。

t9aqgxwy

t9aqgxwy1#

只有一个活动数据节点是主节点的同一个节点。
只有datanode知道namenode绑定到 localhost ,所有其他数据节点都在尝试连接 sr145 .
中设置的主机值 fs.defaultFS 是namenode守护进程将启动的位置。
设置为 localhost 在主节点上做了进程绑定到节点的环回ip。编辑该值以获得实际的主机名或ip地址,在本例中为

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://sr145:9000</value>
</property>

此属性在所有节点中必须相同。

相关问题