我正在尝试解析flume/kafka的数据。我已经将flume.conf文件配置为指向kafka。我能把一个数据文件从flume传给kafka。我想知道如何在flume或kafka中解析数据以从数据文件中提取几个字段。有什么建议吗？谢谢
ctzwtxfj1#
我想您可以创建自己的自定义flume拦截器，以便在原始文件中保留字段的子集。flume拦截器是在源创建flume事件之后，在将其放入通道之前立即运行（配置时）的一段代码；i、 e.它“截获”事件并对其执行一些修改（在头中或在主体中），然后将其有效地放入通道。一旦创建，就可以很容易地配置其用法：
myagent.sources.mysource.interceptors = myinterceptor myagent.sources.mysource.interceptors.myintercetor.type = FQCN_of_your_interceptor_class myagent.sources.mysource.interceptors.myintercetor.specific_parameter_1 = whatever myagent.sources.mysource.interceptors.myintercetor.specific_parameter_2 = whatever
拦截器类实现 org.apache.flume.interceptor.Interceptor 接口。
org.apache.flume.interceptor.Interceptor
1条答案
按热度按时间ctzwtxfj1#
我想您可以创建自己的自定义flume拦截器，以便在原始文件中保留字段的子集。flume拦截器是在源创建flume事件之后，在将其放入通道之前立即运行（配置时）的一段代码；i、 e.它“截获”事件并对其执行一些修改（在头中或在主体中），然后将其有效地放入通道。
一旦创建，就可以很容易地配置其用法：
拦截器类实现
org.apache.flume.interceptor.Interceptor接口。