如何使用flume在两个目录/位置之间进行数据流？

1tu0hz3e 于 2021-06-04 发布在 Flume

关注(0)|答案(1)|浏览(247)

如何使用flume在两个目录之间进行数据流？

spool_dir.sources = src-1
spool_dir.channels = channel-1
spool_dir.sinks = sink-1

来源

spool_dir.sources.src-1.type = spooldir
spool_dir.sources.src-1.channels = channel-1
spool_dir.sources.src-1.spoolDir = /usr/lib/flume/source

Flume

spool_dir.sinks.sink-1.type = spooldir
spool_dir.sinks.sink-1.channels = channel-1
spool_dir.sinks.sink-1.spoolDir = /usr/lib/flume/sink

将源和汇绑定到通道

spool_dir.sources.src-1.channels = channel-1
spool_dir.sinks.sink-1.channel = channel-1

flume flume-ng

来源：https://stackoverflow.com/questions/35290124/how-to-use-flume-for-data-streaming-between-two-directories-locations

1条答案

按热度按时间

8fq7wneg1#

我理解你的要求是，你想监视文件进入一个文件夹，并复制到另一个文件夹，如果是这样的话，那么你的源看起来不错，但对接收器使用文件卷，而不是spool dir。

a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = file_roll
a1.sinks.k1.channel = c1
a1.sinks.k1.sink.directory = /var/log/flume

基本上在flume中，源和接收器是不同的接口，所以你必须选择spool作为源，说我想监视特定的目录，但是我想使用其中一个接收器写入文件或hdfs，所以没有spool接收器，而是有file\u roll接收器，它可能对你有用，也可能不适用。但是选择一个Flume作为目标http://flume.apache.org/flumeuserguide.html#flume-Flume

赞(0）回复(0）举报 2021-06-05

我来回答

如何使用flume在两个目录/位置之间进行数据流？

来源

Flume

将源和汇绑定到通道

1条答案

相关问题

热门标签

最新问答