hadoop flume log4j配置

vyu0f0g1 于 2021-06-04 发布在 Flume

关注(0)|答案(2)|浏览(492)

如果运行hadoop flume节点，默认情况下，它会使用log4j在/var/log/flume下生成日志。这些文件看起来像

/var/log/flume/flume-$FLUME_IDENT_STRING-$command-$HOSTNAME.log

根据此处的flume用户指南，更改flume日志配置的唯一方法是通过flume-daemon.sh，它使用以下flume环境变量运行flume节点：

export FLUME_LOGFILE=flume-$FLUME_IDENT_STRING-$command-$HOSTNAME.log
export FLUME_ROOT_LOGGER="INFO,DRFA"
export ZOOKEEPER_ROOT_LOGGER="INFO,zookeeper"
export WATCHDOG_ROOT_LOGGER="INFO,watchdog"

问题是：
如果我想把日志级别从info改为debug，这是唯一的地方吗？
有什么配置我可以做到这一点吗？
如果我想将一些包的日志级别设置为debug，而其他包则保留info呢？

Java hadoop hdfs flume

来源：https://stackoverflow.com/questions/10413674/hadoop-flume-log4j-configuration

2条答案

按热度按时间

6qftjkof1#

注意到在/etc/flume/conf.empty下，有一个log4j.properties。将其复制到/etc/flume/conf，重启flume节点服务，log4j.properties文件开始生效。
覆盖顺序类似于flume env.sh->flume daemon.sh->log4j.properties。
例如，如果您将flume\u root\u logger设置为在flue-daemon.sh中调试，它将覆盖log4j.properties中为root\u logger所做的任何设置。

赞(0）回复(0）举报 2021-06-05

nhn9ugyo2#

检查是否存在log4j.properties或log*相关文件来设置变量——这也允许您检查并让日志部分的某些组件执行过量/debug，而其他组件执行info。

赞(0）回复(0）举报 2021-06-04