flume每隔几秒钟刷新一次消息

bsxbgnwa  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(416)

我已经创建了一个flume管道来使用flume将数据从kafka移动到hdfs。我已经将rollversize设置为150mb,它得到了正确的rolledover。
然而,我希望的消息被写入hdfs文件,而不是所有的消息,在一个去,即目前的消息被保存在缓冲区和刷新时,它达到150mb的大小经常。基本上,我想得到的msessages写入hdfs在近实时和滚动文件时,150mb达到。
我尝试设置batchsize属性,但没有太多帮助。
上述要求是否可以在Flume中实施?

o2gm4chl

o2gm4chl1#

您应该在flume conf中设置hdfs.rollinterval。此参数使flume每隔指定的秒数将通道刷新到hdfs。因此,将这个值设置为对您的情况可行的最小间隔。

相关问题