如何配置无源kafka通道的Flume?

0x6upsns  于 2021-06-04  发布在  Flume
关注(0)|答案(2)|浏览(276)

如果配置中没有指定源,它会发出抱怨。根据文件:
Kafka频道可用于多种场景:
Flume源和Flume-它提供了一个可靠的和高度可用的事件通道
有flume源和拦截器,但没有接收器-它允许将flume事件写入kafka主题,供其他应用程序使用
使用flume接收器,但没有源-这是一种低延迟、容错的方式,可以将事件从kafka发送到flume接收器,如ASHDF、hbase或solr
https://flume.apache.org/flumeuserguide.html
我对场景3感兴趣,但是官方的flume文档中没有这样的例子。
当做

xxhby3vn

xxhby3vn1#

flume代理源可以在cdh的更新版本(在我的例子中是5.14)的flume配置中省略。只发出警告。

jqjz2hbq

jqjz2hbq2#

您可以为源提供一些虚拟名称,如:

agent.sources = dummySource
agent.sinks = hdfsSink
agent.channels = kafkaChnl

只需提供hdfssink和kafkachnl的配置

相关问题