使用flume拦截器逐行过滤文件

hmtdttj4 于 2021-06-01 发布在 Hadoop

关注(0)|答案(1)|浏览(312)

我正在尝试配置从.csv或.xl3读取的flume代理。文件示例：

ClientA  ClientB  Start-time  End-time    Duration    Status 
35862515 36958452 16/01/2017  16/01/2017  10          good
32456988 22583694 16/01/2017  16/01/2017  05          good
35968478 36985724 16/01/2017  16/01/2017
32456988 22583694 16/01/2017  16/01/2017  01          good

我要代理逐行过滤文件。如果持续时间不为空，则事件将发送到hdfs/usr/admin/good\u call，否则，事件将发送到另一个路径/usr/admin/bad\u call。
如何使用flume配置，拦截器

hadoop flume regex hadoop2 flume-ng

来源：https://stackoverflow.com/questions/44323936/filter-a-file-line-by-line-using-flume-interceptors