如何在烫伤中登录到文件?

4sup72z8  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(248)

在我滚烫的map reduce代码中,我想注销正在发生的某些步骤,以便在出现问题时调试map reduce作业。
我如何才能添加日志到我的烫伤工作?
例如

import com.twitter.scalding._
class WordCountJob(args: Args) extends Job(args) {
   //LOG: Starting job at time blah..
   TextLine( args("input") )
   .read
   .flatMap('line -> 'word) {
      line: String =>
      line.trim.toLowerCase.split("\\W+") 
   }
   .groupBy('word) { group => group.size('count) }
}
.write(Tsv(args("output")))
//LOG - ending job at time...
}
p3rjfoxz

p3rjfoxz1#

任何日志框架都可以。显然,您也可以使用println()——它将出现在hadoop集群的作业历史记录(hdfs模式)或控制台(本地模式)中的作业标准输出日志文件中。
还可以考虑使用addtrap()方法定义一个陷阱来捕获错误记录。

相关问题