如何让flume ng以json格式存储日志

zhte4eai  于 2021-06-04  发布在  Flume
关注(0)|答案(0)|浏览(288)

我有一个flume合并器,它将自定义日志中的条目写入aws中的s3 bucket
我遇到的问题是,它没有以json格式存储它。我正在使用flume ng(flume 1.2.0),因为我已经从flume og(实际上只是flume 0.9.4-cdh3u3)升级了。当我使用flume(ogone)时,我默认使用json格式移动日志,而不设置任何参数。flume ng是否可以解析日志并将其设置为json格式?
非常感谢您的帮助。谢谢您
我的安装配置如下

agent.sources = source1
agent.sinks = sink1
agent.channels = channel1

agent.sources.source1.type = netcat
agent.sources.source1.bind = localhost
agent.sources.source1.port = 4555

agent.sinks.sink1.type=hdfs
agent.sinks.sink1.hdfs.path = s3://KEY:SECRET@BUCKET/flume/apache/incoming
agent.sinks.sink1.hdfs.filePrefix = log-file-

agent.channels.channel1.type = memory
agent.channels.channel1.capacity = 1000
agent.channels.channel1.transactionCapactiy = 100

agent.sources.source1.channels = channel1
agent.sinks.sink1.channel = channel1

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题