为什么我的作业和阶段没有显示在sparkrestapi中?

dz6r00yl  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(108)

当我使用这些配置启动spark(2.2.0)应用程序时
--conf spark.eventlog.enabled=真
--conf spark.eventlog.dir=hdfs:///spark历史
我可以使用rest api成功找到我的应用程序:
http://host:端口/api/v1/applications/application\u 1612674835361\u 0056
这个工作很好,应用程序在那里,它正在被记录。
当我搜索遗嘱执行人时,我得到一个:

{
  "id" : "driver",
  "hostPort" : "host:port",
  "rddBlocks" : 0,
  "memoryUsed" : 0,
  "diskUsed" : 0,
  "activeTasks" : 0,
  "failedTasks" : 0,
  "completedTasks" : 0,
  "totalTasks" : 0,
  "totalDuration" : 0,
  "totalInputBytes" : 0,
  "totalShuffleRead" : 0,
  "totalShuffleWrite" : 0,
  "maxMemory" : 384093388,
  "executorLogs" : {
    "stdout" : "http://host:port/node/containerlogs/container_e1723_1612674835361_0056_01_000001/our_user/stdout?start=-4096",
    "stderr" : "http://host:port/node/containerlogs/container_e1723_1612674835361_0056_01_000001/our_user/stderr?start=-4096"
  }
}

我知道在查询作业和阶段时应该使用尝试编号,所以我尝试:
http://host:port/api/v1/applications/application\u 1612674835361\u 0056/1/作业

http://host:port/api/v1/applications/application\u 1612674835361\u 0056/1/stages
但都是空的!没有错误,没有问题,只是空的,但是我确信我的应用程序已经启动了很多工作,因为我可以在日志中看到它们。
发生什么事?我是否遗漏了启用此功能的参数?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题