为什么在hadoop上使用h2o时,我看不到特定的任务在yarn中执行?

wlp8pajw  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(375)

我按照官方要求在Yarn上运行h2o:

http://h2o-release.s3.amazonaws.com/h2o/rel-wolpert/11/index.html

这是我的命令:

cd ~/opt/h2o-3.18.0.8-hdp2.6
hadoop jar h2odriver.jar -nodes 1 -mapperXmx 6g -output /user/spark/h2o-3_output

h2o集群运行成功。

但是在我运行了h2o流中的示例流之后,我没有看到任何与gbm算法相关的计算,只有h2o本身。

我想我会看到这样的东西。这是使用rapidminer的决策树流程图的结果,它显示了每个特定的任务。

t3irkdon

t3irkdon1#

你看到的是水的预期行为。
h2o只是使用Yarn来获取容器,以便h2o工作节点运行。一旦这些容器被打开,h2o就有cpu和内存资源来工作,并且不再与Yarn相互作用。所以Yarn资源经理知道h2o在上升,如你所见,但不知道任何细节。
要查看详细信息,请转到h2o flow web ui(如上面输出中的“open h2o flow”消息所示)。“管理”->“作业”菜单项显示您要查找的内容。

相关问题