在5节点集群的每个节点上设置多代理kafka

eblbsuwk  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(392)

我们有一个沙盒,它有5个节点,所有5个节点都运行一个kafka代理(代理id=0),现在我复制了所有5个节点上的配置文件,这些节点具有不同的代理id和日志文件目录,以便运行多个代理

-rw-r--r-- 1 root root 5652 Apr  2 23:01 server.properties - (this one being the default)
-rw-r--r-- 1 root root 5675 Apr  2 23:02 server1.properties
-rw-r--r-- 1 root root 5675 Apr  2 23:02 server2.properties

现在我要用新的配置文件在所有5个节点上启动kafka吗

./kafka-server-start.sh config/server1.properties &
./kafka-server-start.sh config/server2.properties &

是否每个节点都有3个代理在运行??或是它的3个经纪人来做整个集群??这是怎么工作的?任何帮助都会很感激??

xmjla07d

xmjla07d1#

集群中的每个节点应该只有一个配置文件,kafka server start应该只在每个节点上运行一次。例如,服务器1只需要有一个包含的配置文件,例如broker.id=1。
每次运行kafka server start都是在启动一个代理(即服务器)。当代理启动时,Kafka将通过zookeeper找到其他代理。这允许在集群中添加和删除新代理,而无需任何额外的配置文件指定集群中的其他节点,也无需对现有节点进行任何重新配置。
如果您在同一节点上多次运行kafka server start,那么您确实在同一节点上启动多个代理,但这不是您想要的。

相关问题