Kafka同步生产者需要较长的时间对第一个请求

zf2sa74q  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(349)

我正在SpringBoot微服务中使用SpringCloudStreamKafka同步生产者。每次我们部署服务时,对kafka的第一次调用都需要20多秒才能将消息发布到topic。但所有随后的通话几乎不需要3到4毫秒。这个问题也会随机发生,而且是间歇性的,但主要发生在我们重新启动服务时。我们使用kafka版本0.9.0.1和gradle依赖,如下所示{

compile('org.springframework.cloud:spring-cloud-starter-stream-kafka')
}
dependencyManagement {
imports {
mavenBom "org.springframework.cloud:spring-cloud-dependencies:Camden.SR3"
}
}

这是申请表。基督教青年会

spring:
cloud:
stream:
bindings:
output:
content-type: application/json
destination: SOPOrderReceiveTopic
kafka:
binder:
brokers: "localhost:9092,localhost:9093"
headers: eventType
requiredAcks: -1
zkNodes: "localhost:2181"
bindings:
output:
producer:
configuration:
max:
block:
ms: 20000
reconnect:
backoff:
ms: 5000
request:
timeout:
ms: 30000
retries: 3
retry:
backoff:
ms: 10000
timeout:
ms: 30000
sync: true

我使用org.springframework.cloud.stream.messaging.source作为输出通道,这是用于发布消息的方法

public void publish(Message event) {
    try {
        boolean result = source.output().send(event, orderEventConfig.getTimeoutMs());
        logger.log(LoggingEventType.INFORMATION, "MESSAGE SENT TO KAFKA : " + result);
    } catch (Exception publishingExceptionMessage) {
        logger.log(LoggingEventType.ERROR, "publish event to kafka failed!", publishingExceptionMessage);
        throw new PublishEventException("publish event to kafka failed for eventPayload: " + event.getPayload(),
                ThreadVariables.getTenantId());
    }
}

我知道sync producer在性能方面比较慢,因为它保证了消息的顺序和持久性,但是为什么只有第一个请求需要这么长时间呢?这个问题是已知问题吗?在最新的Kafka版本中是固定的吗。有人能建议吗。谢谢

nr9pn0ug

nr9pn0ug1#

使用以下依赖项下载的spring cloud stream版本似乎有问题,

imports { 
        mavenBom "org.springframework.cloud:spring-cloud-dependencies:Camden.SR3"
     }

尝试升级spring云流并检查。它应该修复springboot服务启动后kafka服务器上第一次发布调用的延迟。

dependencies {  
    compile('org.springframework.cloud:spring-cloud-stream-binder-kafka')
}

     ext { springCloudVersion = 'Dalston.RELEASE' }

   dependencyManagement {   
        imports { 
                        mavenBom "org.springframework.cloud:spring-cloud-dependencies:${springCloudVersion}" 
                }
            }

相关问题