当我使用这些配置启动spark(2.2.0)应用程序时
--conf spark.eventlog.enabled=真
--conf spark.eventlog.dir=hdfs:///spark历史
我可以使用rest api成功找到我的应用程序:
http://host:端口/api/v1/applications/application\u 1612674835361\u 0056
这个工作很好,应用程序在那里,它正在被记录。
当我搜索遗嘱执行人时,我得到一个:
{
"id" : "driver",
"hostPort" : "host:port",
"rddBlocks" : 0,
"memoryUsed" : 0,
"diskUsed" : 0,
"activeTasks" : 0,
"failedTasks" : 0,
"completedTasks" : 0,
"totalTasks" : 0,
"totalDuration" : 0,
"totalInputBytes" : 0,
"totalShuffleRead" : 0,
"totalShuffleWrite" : 0,
"maxMemory" : 384093388,
"executorLogs" : {
"stdout" : "http://host:port/node/containerlogs/container_e1723_1612674835361_0056_01_000001/our_user/stdout?start=-4096",
"stderr" : "http://host:port/node/containerlogs/container_e1723_1612674835361_0056_01_000001/our_user/stderr?start=-4096"
}
}
我知道在查询作业和阶段时应该使用尝试编号,所以我尝试:
http://host:port/api/v1/applications/application\u 1612674835361\u 0056/1/作业
或
http://host:port/api/v1/applications/application\u 1612674835361\u 0056/1/stages
但都是空的!没有错误,没有问题,只是空的,但是我确信我的应用程序已经启动了很多工作,因为我可以在日志中看到它们。
发生什么事?我是否遗漏了启用此功能的参数?
暂无答案!
目前还没有任何答案,快来回答吧!