如何解决日志聚合未完成或未启用的错误

vmpqdwk3 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(383)

我使用的是EMR5.4，我将spark作业提交给yarn
当我试图用 yarn logs -applicationId application_1528461193301_0001 ，我有以下错误：

18/06/08 12:38:01 INFO client.RMProxy: Connecting to ResourceManager at ip-10-0-182-144.eu-west-1.compute.internal/10.0.182.144:8032
s3://xxx/apps/root/logs/application_1528461193301_0001 does not exist.
Log aggregation has not completed or is not enabled.

这是我的配置 /etc/hadoop/conf/yarn-site.xml ```

yarn.log-aggregation-enable
true

hadoop hdfs yarn amazon-emr hadoop2

来源：https://stackoverflow.com/questions/50760962/how-to-resolve-log-aggregation-has-not-completed-or-is-not-enabled-error-in-yarn

1条答案

按热度按时间

q5iwbnjs1#

根据文档，如果将日志聚合到s3，则不能使用日志实用程序
https://docs.aws.amazon.com/emr/latest/managementguide/emr-plan-debugging.html
笔记
当前不能使用yarn logs实用程序对amazons3进行日志聚合。
您可以使用aws实用程序下载日志文件

aws s3 cp s3://xxx/apps/[applicationId] /your/folder --recursive

赞(0）回复(0）举报 2021-05-29

我来回答

如何解决日志聚合未完成或未启用的错误

1条答案

相关问题

热门标签

最新问答