Zookeeper概述

x33g5p2x  于2021-03-14 发布在 Zookeeper  
字(2.0k)|赞(0)|评价(0)|浏览(450)

一、Zookeeper概述

官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

上面的解释有点抽象,简单来说zookeeper=文件系统+监听通知机制。

二、监听通知机制

客户端注册监听它关心的目录节点,当目录节点发生变化(数据改变、被删除、子目录节点增加删除)时,zookeeper会通知客户端。

:-:

三、文件系统数据结构

Zookeeper维护一个类似文件系统的数据结构,每个子目录项如 NameService 都被称作为 znode(目录节点),和文件系统一样,我们能够自由的增加、删除znode,在一个znode下增加、删除子znode,唯一的不同在于znode是可以存储数据的。每一个ZNode默认能够存储1MB的元数据,每个ZNode都可以通过其路径唯一标识。不能重名,通过KEY VAlue形式存储

:-:

四、Zookeeper系统架构

Zookeeper采用分布式集群的方式对外提供协调服务,首先Zookeeper必须以集群的方式来运作,以保证服务的可靠性。Zookeeper的服务架构图如下所示:其中包括Zookeeper集群是由多台服务器部署Zookeeper的节点构成,Client为客户端节点,例如NameNode集群节点。

:-:

特点:

(1)Zookeeper:一个领导者(leader),多个跟随者(follower)组成的集群

(2)Leader负责进行投票的发起和决议,更新系统状态。

(3)Follower用于接收客户请求并向客户端返回结果,在选举Leader过程中参与投票

(4)集群中只要有半数以上的节点存活,Zookeeper集群就能正常服务(他要选leader是怎么选的?怎么选领导,首先领导成立的一种条件,其次就是怎么选的)半数以上:就必须是奇数台,3、5、7  2n+1,奇数台并且超过半数,比如我们现在是三台,超过半数就是2台,如果两台能活,就能活,如果是5台那么就是最低活三台,就能够选出leader。假设你有偶数台,其实也可以选举出leader,但是不建议,会出现脑残行为,比如说一些数据不一致

(5)全局数据一致:每个server保存一份相同的数据副本,clinet无论去连接到哪个server,数据都是一致的。相当于50070页面访问的时候,是保存三份。是一个集群,集群概念就是你有我也有,

选举机制

五、Zookeeper选举机制

三个核心选举原则:

(1)Zookeeper集群中只有超过半数以上的服务器启动,集群才能正常工作;

(2)在集群正常工作之前,myid小的服务器给myid大的服务器投票,直到集群正常工作,选出Leader;

(3)选出Leader之后,之前的服务器状态由Looking改变为Following,以后的服务器都是Follower。

下面以一个简单的例子来说明整个选举的过程:

:-: ****

假设有五台服务器组成的Zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的。假设这些服务器从id1-5,依序启动:因为一共5台服务器,只有超过半数以上,即最少启动3台服务器,集群才能正常工作。

(1)服务器1启动,发起一次选举。

服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成;
服务器1状态保持为LOOKING;

(2)服务器2启动,再发起一次选举。

服务器1和2分别投自己一票,此时服务器1发现服务器2的id比自己大,更改选票投给服务器2;
此时服务器1票数0票,服务器2票数2票,不够半数以上(3票),选举无法完成;
服务器1,2状态保持LOOKING;

(3)服务器3启动,发起一次选举。

与上面过程一样,服务器1和2先投自己一票,然后因为服务器3id最大,两者更改选票投给为服务器3;
此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数(3票),服务器3当选Leader。
服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;

(4)服务器4启动,发起一次选举。

此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。
此时服务器4服从多数,更改选票信息为服务器3;
服务器4并更改状态为FOLLOWING;

(5)服务器5启动,同4一样投票给3,此时服务器3一共5票,服务器5为0票;

服务器5并更改状态为FOLLOWING;
  • 最终Leader是服务器3,状态为LEADING;
  • 其余服务器是Follower,状态为FOLLOWING。

相关文章