kafka和zookepeer高可用性配置

xam8gpfp  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(313)

我想在我的生态系统中建立一个高可用性Kafkazookeper。我在每个数据中心有2个数据中心和3个物理服务器。

dc1型

服务器1-第一Kafka经纪人
服务器2-第二Kafka经纪人
服务器3-第3个Kafka代理
Kafka集团有3个经纪人
zookepeer集成-3台物理服务器中的3个zookeeper示例

dc2型

与dc1配置相似
现在我的问题是-
通过上述设置,我们可以确保容错性和完整的ha
是主动-主动设置还是主动-被动设置?为什么?
如何跨数据中心异步镜像数据?

wmomyfyw

wmomyfyw1#

通过上述设置,我们是否确保了容错性和完整的ha?
当然,但仅限于每个数据中心。
在aws(和其他云,我猜)中,您将另外拥有可用性区域(az),它们在地理上靠近数据中心,但彼此之间仍然足够隔离,这样断开到一个区域的连接不会影响分布在多个区域上的应用程序。为了获得真正高的可用性,最佳实践是将集群分布在azs上
此外,5Zookeeper将是首选,因为你可以失去2台机器,然后没事。
是主动-主动设置还是主动-被动设置?为什么?
如果您正在将kafka数据主动镜像到辅助集群,那么它就不是真正的“被动的”,imo
据我所知,要将kafka客户机“无缝”迁移到“故障转移群集”,必须实际编辑客户机配置以使用此引导服务器的“备份”集。另外,如果数据被发送到一个集群,但另一个集群在一段时间内不可用,然后返回,那么您需要您的使用者应用程序来协调主题数据中的这些差异。
如何跨数据中心异步镜像数据?
内置于Kafka,有镜子制造者。还有其他工具,如confluent replicator,它增加了mirrormaker(和类似的kafka镜像工具)目前没有提供的更多ha功能。
confluent最近更新了他们的白皮书,称为
一本实用指南,介绍如何配置多个apachekafka集群,以便在发生灾难时制定故障转移、故障回复和最终成功恢复的计划
你可以在这里下载

相关问题