flume ng的奇怪行为

tzxcd3kk  于 2021-06-04  发布在  Flume
关注(0)|答案(0)|浏览(180)

我正在尝试使用flume ng将apache web服务器日志聚合到hdfs中..但奇怪的是,我只在hdfs中获得前几行..更奇怪的是,每次启动代理时,都会创建两个文件,并且第二个文件总是小于第一个文件。我的代理配置文件如下所示:

agent1.sources = tail
agent1.channels = MemoryChannel-2
agent1.sinks = HDFS

agent1.sources.tail.type = exec
agent1.sources.tail.command = tail -f /var/log/apache2/access.log.1
agent1.sources.tail.channels = MemoryChannel-2

agent1.sinks.HDFS.channel = MemoryChannel-2
agent1.sinks.HDFS.type = hdfs
agent1.sinks.HDFS.hdfs.path = hdfs://localhost:9000/flume
agent1.sinks.HDFS.hdfs.file.Type = DataStream

agent1.channels.MemoryChannel-2.type = memory

而且我在终端上没有收到任何错误信息。这是正常的还是我的错误??

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题