dfs和mapreduce

jchrr9hc  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(265)

我正在使用hadoop2.4.1,当我尝试在hadoop2.4.1中使用dfs时,一切都正常。我总是使用start-dfs.sh脚本来启动,这样就可以在系统datanode、namenode和secondary namenode中启动并运行以下服务—这很好
昨天,我尝试在etc/hadoop/mapred.xml中配置mapred.xml,如下所示


**conf/mapred-site.xml:**

<configuration>
 <property>
     <name>mapred.job.tracker</name>
     <value>localhost:9001</value>
 </property>
</configuration>

我做了下面的1.2格式化了namenode2。我启动了start-all.sh
当我查看日志时,只有以下日志可用,

1. hadoop-datanode.log + out
2. hadoop-namenode.log + out
3. hadoop-secondarynamenode.log + out
4. yarn-nodemanager.log + out
5. yarn-resourcemanager.log + out

当我给jps时,只有以下服务在运行,

1. secondarynamenode
2. namenode
3. datanode
4. nodemanager
5. resourcemanager

我没有找到那里的工作跟踪器,而且mapreduce日志也不可用,是我们需要在haddop2.4.1中为mapreduce指定一些东西
其他信息,我检查了50030的网络控制台端口-作业跟踪器,这是不可用的,
我用9001端口检查了一下什么都没有运行
请接受任何帮助

ukxgm1gy

ukxgm1gy1#

从hadoop2.0开始,mapreduce的默认处理框架已经从经典的mapreduce更改为yarn。当你使用 start-all.sh 为了启动hadoop,它在内部调用 start-yarn.sh 以及 start-dfs.sh .
如果要使用mapreduce而不是yarn,则应使用start-dfs.sh和start-mapred.sh分别启动dfs和mapreduce服务(mapreduce1二进制文件位于目录中) ${HADOOP_HOME}/bin-mapreduce1 所有的配置文件都在这个目录下 ${HADOOP_HOME}/etc/hadoop-mapreduce1 ).
所有的yarn和hdfs启动脚本都位于hadoop主页的sbin目录中,在那里找不到start-mapred.sh脚本。start-mapred.sh脚本位于bin-mapreduce1目录中。

相关问题