我在hadoop中用一个自定义的 OutputCommitter
.
作为最终作业提交的一部分,我想增加hadoop计数器来收集汇总统计数据。但是,我很难从服务器访问hadoop计数器 JobContext
. 我也不能像从一个箱子里一样取回柜台 TaskAttemptContext
,
Counter myCounter = taskAttemptContext.getCounter(MyEnum.MyCounter);
我也不能像从超市一样进入柜台 Job
对象
Counter myCounter = job.getCounters().findCounter(MyEnum.MyCounter);
因为 OutputCommitter::commitJob
方法仅提供 JobContext
参数。
有没有可能拿到 Job
从 JobContext
或者在此方法中以任何其他方式访问作业计数器?
暂无答案!
目前还没有任何答案,快来回答吧!