apachekafka和apachehadoop应该共享同一个zookeeper示例吗?

uyto3xhc  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(473)

是否可以使用相同的zookeeper示例来协调apachekafka和apachehadoop集群?如果是,zookeeper的适当配置是什么?
谢谢!

wtzytmuj

wtzytmuj1#

Yes ,据我所知,理想情况下,应该有一个单独的zookeeper集群,带有专用机器,用于管理分布式系统中不同应用程序之间的协调。我想在这里谈几点
由多个服务器组成的zookeeper集群通常称为集成,基本上可以跟踪和共享应用程序的状态。例如,kafka使用它来提交对它的偏移量更改,以便在发生故障时可以确定从何处重新开始。
从文档页面: Like the distributed processes it coordinates, ZooKeeper itself is intended to be replicated over a sets of hosts (合奏)。每当进行更改时,只有在将其写入集成中服务器的仲裁(至少一半)后,才会认为更改成功。
现在假设kafka和hadoop都有一个由3个zookeeper服务器组成的专用集群,如果两个集群中的任何一个都有两个节点宕机,那么就会导致服务失败(zk基于简单的多数投票,所以它最多可以容忍1个节点的故障,而不是2个节点的故障)。如果有的话 One Single 由5zk服务器组成的集群管理两个应用程序,如果其中两个节点停机,您仍然可以使用该服务。这不仅提供了更好的可靠性,而且还减少了硬件开销,因为您不必管理6台服务器,只需管理5台。

相关问题