我正在设置flume代理的属性，我不确定batchsize（要一起批处理以发送的事件数）应该使用什么值。在我的特殊情况下，我将使用控制台作为Flume。据我所知，记录器接收器是本例中使用的类型。但是flume文档没有提到这种Flume的batchsize参数。难道不需要为记录器接收器定义batchsize吗？
mw3dktmi1#
好吧，我找到了问题的答案：难道没有必要为记录器接收器定义batchsize吗？https://flume.apache.org/flumeuserguide.html#logger-sink没有batchsize，而是一个名为maxbytestolog的参数，它定义了要记录的事件体的最大字节数（默认值为16）。这里有一个我发现的flume代理的简单示例，它使用控制台作为接收器：
node.sources = my-source node.channels = my-channel node.sinks = my-sink # Since node 1 sink is avro-type, here we indicate avro as source type node.sources.my-source.type = avro node.sources.my-source.bind = 0.0.0.0 node.sources.my-source.port = 11112 node.sources.my-source.channels = my-channel node.channels.my-channel.type = memory node.channels.my-channel.capacity = 10000 node.channels.my-channel.transactionCapacity = 100 node.sinks.my-sink.type = logger node.sinks.my-sink.channel = my-channel node.sinks.my-sink.maxBytesToLog = 256
来源：https://medium.com/@dca/something-关于-flume-3cb720ba00e8#.37zs23dnt关于主要问题，如何确定Flume的容量？关于hdfs批大小，批大小越大，性能就越好。但是，请记住，如果一个事务失败，整个事务将被重放，这可能意味着下游发生重复事件。发件人：https://cwiki.apache.org/confluence/display/flume/batchsize、+channelcapacity+和+channeltransactioncapacity+属性
1条答案
按热度按时间mw3dktmi1#
好吧，我找到了问题的答案：难道没有必要为记录器接收器定义batchsize吗？
https://flume.apache.org/flumeuserguide.html#logger-sink没有batchsize，而是一个名为maxbytestolog的参数，它定义了要记录的事件体的最大字节数（默认值为16）。这里有一个我发现的flume代理的简单示例，它使用控制台作为接收器：
来源：https://medium.com/@dca/something-关于-flume-3cb720ba00e8#.37zs23dnt
关于主要问题，如何确定Flume的容量？
关于hdfs批大小，批大小越大，性能就越好。但是，请记住，如果一个事务失败，整个事务将被重放，这可能意味着下游发生重复事件。
发件人：https://cwiki.apache.org/confluence/display/flume/batchsize、+channelcapacity+和+channeltransactioncapacity+属性