我想知道如何设置三叉戟批量大小（例如，我希望一个批次有10000条记录）。我的代码中有下面的配置，每批从kafka获取大约250条记录。我能把这个增加到10000*1024吗？或者有没有办法设置每批记录的数量。
TridentKafkaConfig tridentKafkaConfig = new TridentKafkaConfig(hosts, topic, consumerGroupId);
tridentKafkaConfig.scheme = new SchemeAsMultiScheme(new XScheme());
tridentKafkaConfig.fetchSizeBytes = 1024*1024;
1条答案
按热度按时间rxztt3cl1#
您可以通过更改“tridentkafkanconfig.fetchsizebytes”属性来增加批处理大小。此外，批量大小与代理数和分区数有关。例如，如果您有2个代理，每个代理有3个分区，这意味着分区总数是6。这样，批大小就等于tridentkafkanconfig.fetchsizebytes x total partition count。如果我们假设tridentkafkanconfig.fetchsizebytes是1024x1024，那么批大小等于6MB（3x2x1024x1024）字节