hadoop计数器可视化

epggiuax  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(377)

就目前的情况来看,这个问题并不适合我们的问答形式。我们希望答案能得到事实、参考资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或广泛讨论。如果您觉得这个问题可以改进,并可能重新打开,请访问帮助中心寻求指导。
7年前关门了。
我想知道是否有hadoop计数器和作业可视化库/项目。例如,显示每种作业类型以及随时间绘制的开始和结束时间的临时显示。另一个例子是绘制一个给定的计数器。我认为这可以用于操作洞察力、监视和警报。

ikfrs5lh

ikfrs5lh1#

注意:因为这是我的第一篇文章,所以我不能发布两个以上的网址。请看看这个github的要点,为我的文章与所有链接在降价格式。下面所有斜体项目实际上都是超链接。很抱歉给您带来不便--迈克尔
我现在唯一想到的开源可视化项目是twitter ambrose。从我在回复中提到的各种工具来看,你可能想先看看安布罗斯。它在其web ui中支持以下功能:
[ambrose web ui功能]
所有相关作业及其当前状态的表视图
和弦图和图形图来可视化作业依赖关系和当前状态
整个脚本进度条
除此之外,我的个人经验是商业供应商提供的产品。仅列举其中两个:
cdh4分销的cloudera经理
mapr的m3和m5分布 Jmeter 板
这两个产品都提供了一个api,允许您扩展它们并将它们与您自己的ops工具集集成。cloudera管理器需要一个评估许可证,而mapr的 Jmeter 板可以在免费的m3发行版中使用,如果你想让它有一个旋转。像往常一样,每种方法都有利弊。
也就是说,您还可以配置标准hadoop,将其度量发送到ganglia之类的监视工具(请参阅uc berkely grid的实时演示)。基本上,您只需将度量转储到ganglia中,后者将负责各种度量的可视化/绘图。有几个在线指南描述了如何为一个小型hadoop集群配置ganglia。如果您运行的是hadoop2.x,那么可以看看什么是hadoopmetrics2,了解下一代hadoop中的度量系统是如何工作的。
最后,尽管与您的直接问题有点无关,但您也可以通过调用hadoop的javaapi来编写自定义监视器。通常直接编写这些定制监控器的方式与nagios等其他ops基础设施工具兼容。例如,我们的一个自定义监视器连接到jobtracker,以便检测任何运行时间超过24小时的mapreduce作业(99%的情况下是一个作业以某种方式中断的信号)。根据您将度量转储到的工具,您将免费获得可视化/图形(参见上面的ganglia示例)。
希望这有帮助,迈克尔

相关问题