可扩展性—kafka是否适合大量客户?

x759pob2  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(331)

我知道Kafka能应付大量的交通。然而,它对大量并发客户机的扩展能力如何?
每个客户都有自己独特的 group_id (因此,Kafka将跟踪每个人的偏移量)。
Kafka0.9+内部存储偏移量,这会是一个问题吗?
Kafka0.8的偏移量存储在zookeeper中,这会是一个问题吗?

nwlls2ji

nwlls2ji1#

一些Kafka用户(如linkedin)过去曾报告说,一个Kafka代理可以支持约1万个客户端连接。此数字可能因硬件、配置等而异。
只要请求速率不太高,限制因素可能只是操作系统中配置的打开文件描述符限制,请参见。http://docs.confluent.io/current/kafka/deployment.html#file-有关详细信息,请参阅描述符和mmap。

相关问题