mapreduce—hadoop中应用程序日志的持续时间

pkln4tw6 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(410)

我使用hadoop中的yarn应用程序命令的输出来了解使用作业名称运行的mapreduce作业的详细信息。我的群集正在使用hdp分发。有人知道工作状态还有多久吗？它是否记录了前几天的工作情况？

1条答案

这取决于我们的集群配置。在生产级别设置中，通常有一个历史/归档服务器可用于保存上一次运行的日志。在默认配置中，日志保留设置为1天，因此默认情况下保留1天日志。
如果历史服务器正在运行，则其默认端口为19888。检查 mapred-site.xml 下面的条目

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>{job-history-hostname}:19888</value>
 </property>

以及 yarn-site.xml ```

yarn.log.server.url
http://{job-history-hostname}:19888/jobhistory/logs