kafka producer 0.9.0性能,大量等待线程

dxpyg8gm  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(315)

我们正在以大约9000条记录/秒的速度向kafka集群中写入消息,有时我们会看到生产者性能显著下降,然后再也无法恢复。当这种情况发生时,我们会看到以下错误“无法在超时内分配缓冲区”。下面是流程运行良好和达到不良状态时所采用的jmx producer度量。“等待线程”指标非常高,当进程降级时,任何输入都将受到赞赏。
生产者参数为

batch.size=1000000
linger.ms=30000
acks=-1
metadata.fetch.timeout.ms=1000
compression.type=none
max.request.size=10000000

在缓冲区完全可用时,错误为“org.apache.kafka.common.errors.timeoutexception:未能在配置的最大阻塞时间内分配内存”

vd8tlhqk

vd8tlhqk1#

有一次你开始发送一批1.000.000条消息,我想这就是你的性能下降的原因。尝试降低该数字或将linger.ms设置为较低。

相关问题