我是apache flume的新手，我已经用sink group-load balance手动配置了单层代理，我想知道如何测试sink group负载平衡？有什么主意吗
ttygqcqt1#
您可以定义两个不同的接收器，并在接收器组中提及它们，如下所示，
agent1.sinkgroups = g1 agent1.sinkgroups.g1.sinks = HDFS1 HDFS2 agent1.sinkgroups.g1.processor.type = load_balance agent1.sinkgroups.g1.processor.backoff = true agent1.sinkgroups.g1.processor.selector = round_robin
这两个都是hdfs接收器。您可以提到进程选择器（round_robin[default]、random或custom selector），它定义了如何在两个接收器之间平衡负载。运行代理时，可以看到两组不同的数据存储在两个各自的hdfs路径（接收器）中。其他两个可选参数是backoff和selector.maxtimeout有关Flume1.6.0用户指南的更多信息，请参阅此链接
1条答案
按热度按时间ttygqcqt1#
您可以定义两个不同的接收器，并在接收器组中提及它们，如下所示，
这两个都是hdfs接收器。
您可以提到进程选择器（round_robin[default]、random或custom selector），它定义了如何在两个接收器之间平衡负载。
运行代理时，可以看到两组不同的数据存储在两个各自的hdfs路径（接收器）中。
其他两个可选参数是backoff和selector.maxtimeout
有关Flume1.6.0用户指南的更多信息，请参阅此链接