在作业提交期间访问hadoop计数器

sg3maiej  于 2021-07-13  发布在  Hadoop
关注(0)|答案(0)|浏览(160)

我在hadoop中用一个自定义的 OutputCommitter .
作为最终作业提交的一部分,我想增加hadoop计数器来收集汇总统计数据。但是,我很难从服务器访问hadoop计数器 JobContext . 我也不能像从一个箱子里一样取回柜台 TaskAttemptContext ,

Counter myCounter = taskAttemptContext.getCounter(MyEnum.MyCounter);

我也不能像从超市一样进入柜台 Job 对象

Counter myCounter = job.getCounters().findCounter(MyEnum.MyCounter);

因为 OutputCommitter::commitJob 方法仅提供 JobContext 参数。
有没有可能拿到 JobJobContext 或者在此方法中以任何其他方式访问作业计数器?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题