面试常问集锦——分布式系列

x33g5p2x  于2022-05-19 转载在 其他  
字(7.3k)|赞(0)|评价(0)|浏览(254)

到底啥是分布式系统开发经验?

https://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484872&idx=1&sn=d28383f3397ef6b250afc5c182fcb200&chksm=fba6edcbccd164dd38701a0e06a381249ebb6ad9d0205df2c605b9634688d0dd58f00a2d645a&scene=21#wechat_redirect

图解 | 搞定分布式,程序员进阶之路

https://mp.weixin.qq.com/s?__biz=MzkzMDI1NjcyOQ==&mid=2247487763&idx=1&sn=676633d7398e4f49f6a0903387fd963d&source=41#wechat_redirect

一致性协议算法超详细解析

https://mp.weixin.qq.com/s/zA9tO-s_oc9R9NvSSkmI1A

9种 分布式ID生成方式

https://juejin.cn/post/6844904065747402759

图解 Raft 共识算法:如何选举领导者?

https://mp.weixin.qq.com/s/_j5EfT4S2R40yvePKtmxIg

分布式事务

《我想进大厂》之分布式事务篇

https://mp.weixin.qq.com/s?__biz=MzkzNTEwOTAxMA==&mid=2247488768&idx=1&sn=e93f43501d6e5bc7fad63f47aaba1da7&chksm=c2b25dfdf5c5d4eb903c67001468e84ab703d6aaadf5a117f35a8035ed363d52aa89166f2ebc&scene=178&cur_album_id=1512519209967271939#rd

阿里终面:分布式事务原理

https://mp.weixin.qq.com/s/b7s-xbJX56bqo49QG1U7Rw

拜托,面试请不要再问我TCC分布式事务的实现原理!

https://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483862&idx=1&sn=f94857a050ae0e98521a70f331fe5420&chksm=fba6e9d5ccd160c3c39b2a474f2e0a636465a79446d71822148e0129164cb91dfb11e61e7555&scene=21#wechat_redirect

最终一致性分布式事务如何保障实际生产中99.99%高可用?

https://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483876&idx=1&sn=51f8eadc16efd6b89eb1f3c6abe67e25&chksm=fba6e9e7ccd160f183b344d4773841ad8df9a2c099a16aae516ddb45aef7eaccb83570d171fe&scene=21#wechat_redirect

两天,我把分布式事务搞完了

https://mp.weixin.qq.com/s?__biz=MzkxNTE3NjQ3MA==&mid=2247485728&idx=1&sn=f1ea6c37d5eb0d2a69315a08b0d1263b&chksm=c1626459f615ed4fbc58052d0f92a09debc392f0d53fa13a98d3c5cf402a110b2aea5e0cda29&token=1260092512&lang=zh_CN#rd

25张图让你彻底掌握分布式事务原理

https://mp.weixin.qq.com/s/5eVwo6s5udgOYEXPjBdF8w

事务篇:七种分布式事务方案正确使用姿势

https://mp.weixin.qq.com/s?__biz=MzkzMDI1NjcyOQ==&mid=2247487810&idx=2&sn=41981851fa40705ba79f9e23e8f06edc&source=41#wechat_redirect

CAP理论

https://github.com/Snailclimb/JavaGuide/blob/master/docs/system-design/distributed-system/CAP%E7%90%86%E8%AE%BA.md

经历过技术面试的小伙伴想必对这个两个概念已经再熟悉不过了!

Guide哥当年参加面试的时候,不夸张地说,只要问到分布式相关的内容,面试官几乎是必定会问这两个分布式相关的理论。

并且,这两个理论也可以说是小伙伴们学习分布式相关内容的基础了!

因此,小伙伴们非常非常有必要将这理论搞懂,并且能够用自己的理解给别人讲出来。

这篇文章我会站在自己的角度对这两个概念进行解读!

个人能力有限。如果文章有任何需要改善和完善的地方,欢迎在评论区指出,共同进步!——爱你们的Guide哥

CAP理论

CAP 理论/定理起源于 2000年,由加州大学伯克利分校的Eric Brewer教授在分布式计算原理研讨会(PODC)上提出,因此 CAP定理又被称作 布鲁尔定理(Brewer’s theorem)

2年后,麻省理工学院的Seth Gilbert和Nancy Lynch 发表了布鲁尔猜想的证明,CAP理论正式成为分布式领域的定理。

简介

CAP 也就是 Consistency(一致性)Availability(可用性)Partition Tolerance(分区容错性) 这三个单词首字母组合。


CAP 理论的提出者布鲁尔在提出 CAP 猜想的时候,并没有详细定义 ConsistencyAvailabilityPartition Tolerance 三个单词的明确定义。

因此,对于 CAP 的民间解读有很多,一般比较被大家推荐的是下面 👇 这种版本的解。

在理论计算机科学中,CAP 定理(CAP theorem)指出对于一个分布式系统来说,当设计读写操作时,只能能同时满足以下三点中的两个:

  • 一致性(Consistence) : 所有节点访问同一份最新的数据副本
  • 可用性(Availability): 非故障的节点在合理的时间内返回合理的响应(不是错误或者超时的响应)。
  • 分区容错性(Partition tolerance) : 分布式系统出现网络分区的时候,仍然能够对外提供服务。

什么是网络分区?
分布式系统中,多个节点之前的网络本来是连通的,但是因为某些故障(比如部分节点网络出了问题)某些节点之间不连通了,整个网络就分成了几块区域,这就叫网络分区。


不是所谓的“3 选 2”

大部分人解释这一定律时,常常简单的表述为:“一致性、可用性、分区容忍性三者你只能同时达到其中两个,不可能同时达到”。实际上这是一个非常具有误导性质的说法,而且在 CAP 理论诞生 12 年之后,CAP 之父也在 2012 年重写了之前的论文。
当发生网络分区的时候,如果我们要继续服务,那么强一致性和可用性只能 2 选 1。也就是说当网络分区之后 P 是前提,决定了 P 之后才有 C 和 A 的选择。也就是说分区容错性(Partition tolerance)我们是必须要实现的。

简而言之就是:CAP 理论中分区容错性 P 是一定要满足的,在此基础上,只能满足可用性 A 或者一致性 C。

因此,分布式系统理论上不可能选择 CA 架构,只能选择 CP 或者 AP 架构。

为啥无同时保证 CA 呢?

举个例子:若系统出现“分区”,系统中的某个节点在进行写操作。为了保证 C, 必须要禁止其他节点的读写操作,这就和 A 发生冲突了。如果为了保证 A,其他节点的读写操作正常的话,那就和 C 发生冲突了。

选择的关键在于当前的业务场景,没有定论,比如对于需要确保强一致性的场景如银行一般会选择保证 CP 。

CAP 实际应用案例

我这里以注册中心来探讨一下 CAP 的实际应用。考虑到很多小伙伴不知道注册中心是干嘛的,这里简单以 Dubbo 为例说一说。

下图是 Dubbo 的架构图。注册中心 Registry 在其中扮演了什么角色呢?提供了什么服务呢?

注册中心负责服务地址的注册与查找,相当于目录服务,服务提供者和消费者只在启动时与注册中心交互,注册中心不转发请求,压力较小。


常见的可以作为注册中心的组件有:ZooKeeper、Eureka、Nacos...。

  1. ZooKeeper 保证的是 CP。 任何时刻对 ZooKeeper 的读请求都能得到一致性的结果,但是, ZooKeeper 不保证每次请求的可用性比如在 Leader 选举过程中或者半数以上的机器不可用的时候服务就是不可用的。
  2. Eureka 保证的则是 AP。 Eureka 在设计的时候就是优先保证 A (可用性)。在 Eureka 中不存在什么 Leader 节点,每个节点都是一样的、平等的。因此 Eureka 不会像 ZooKeeper 那样出现选举过程中或者半数以上的机器不可用的时候服务就是不可用的情况。 Eureka 保证即使大部分节点挂掉也不会影响正常提供服务,只要有一个节点是可用的就行了。只不过这个节点上的数据可能并不是最新的。
  3. Nacos 不仅支持 CP 也支持 AP。

总结

在进行分布式系统设计和开发时,我们不应该仅仅局限在 CAP 问题上,还要关注系统的扩展性、可用性等等

在系统发生“分区”的情况下,CAP 理论只能满足 CP 或者 AP。要注意的是,这里的前提是系统发生了“分区”

如果系统没有发生“分区”的话,节点间的网络连接通信正常的话,也就不存在 P 了。这个时候,我们就可以同时保证 C 和 A 了。

总结:如果系统发生“分区”,我们要考虑选择 CP 还是 AP。如果系统没有发生“分区”的话,我们要思考如何保证 CA 。

BASE 理论

https://github.com/Snailclimb/JavaGuide/blob/master/docs/system-design/distributed-system/BASE%E7%90%86%E8%AE%BA.md

BASE 理论起源于 2008 年, 由eBay的架构师Dan Pritchett在ACM上发表。

简介

BASE 是 Basically Available(基本可用) 、Soft-state(软状态) 和 Eventually Consistent(最终一致性) 三个短语的缩写。BASE 理论是对 CAP 中一致性 C 和可用性 A 权衡的结果,其来源于对大规模互联网系统分布式实践的总结,是基于 CAP 定理逐步演化而来的,它大大降低了我们对系统的要求。

BASE 理论的核心思想

即使无法做到强一致性,但每个应用都可以根据自身业务特点,采用适当的方式来使系统达到最终一致性。
也就是牺牲数据的一致性来满足系统的高可用性,系统中一部分数据不可用或者不一致时,仍需要保持系统整体“主要可用”。

BASE 理论本质上是对 CAP 的延伸和补充,更具体地说,是对 CAP 中 AP 方案的一个补充。

为什么这样说呢?

CAP 理论这节我们也说过了:
如果系统没有发生“分区”的话,节点间的网络连接通信正常的话,也就不存在 P 了。这个时候,我们就可以同时保证 C 和 A 了。因此,如果系统发生“分区”,我们要考虑选择 CP 还是 AP。如果系统没有发生“分区”的话,我们要思考如何保证 CA 。

因此,AP 方案只是在系统发生分区的时候放弃一致性,而不是永远放弃一致性。在分区故障恢复后,系统应该达到最终一致性。这一点其实就是 BASE 理论延伸的地方。

BASE 理论三要素


  1. 基本可用

基本可用是指分布式系统在出现不可预知故障的时候,允许损失部分可用性。但是,这绝不等价于系统不可用。

什么叫允许损失部分可用性呢?

  • 响应时间上的损失: 正常情况下,处理用户请求需要 0.5s 返回结果,但是由于系统出现故障,处理用户请求的时间变为 3 s。
  • 系统功能上的损失:正常情况下,用户可以使用系统的全部功能,但是由于系统访问量突然剧增,系统的部分非核心功能无法使用。
  1. 软状态

软状态指允许系统中的数据存在中间状态(CAP 理论中的数据不一致),并认为该中间状态的存在不会影响系统的整体可用性,即允许系统在不同节点的数据副本之间进行数据同步的过程存在延时。

  1. 最终一致性

最终一致性强调的是系统中所有的数据副本,在经过一段时间的同步后,最终能够达到一个一致的状态。因此,最终一致性的本质是需要系统保证最终数据能够达到一致,而不需要实时保证系统数据的强一致性。
分布式一致性的 3 种级别:

  1. 强一致性 :系统写入了什么,读出来的就是什么。
  2. 弱一致性 :不一定可以读取到最新写入的值,也不保证多少时间之后读取到的数据是最新的,只是会尽量保证某个时刻达到数据一致的状态。
  3. 最终一致性 :弱一致性的升级版,系统会保证在一定时间内达到数据一致的状态。

业界比较推崇是最终一致性级别,但是某些对数据一致要求十分严格的场景比如银行转账还是要保证强一致性。

总结

ACID 是数据库事务完整性的理论,CAP 是分布式系统设计理论,BASE 是 CAP 理论中 AP 方案的延伸。

常说的分布式系统核心理论CAP与BASE到底是什么

https://blog.csdn.net/qq_33591903/article/details/120442312

分布式遇到的坑

https://mp.weixin.qq.com/s/Uxke4xm3EY98s5ZnGS_6eg

CAP 一致性协议及应用解析

https://mp.weixin.qq.com/s/26x8O1bRzurl84e3nM6TTA

浅谈大数据中的 2PC、3PC、Paxos、Raft、ZAB

https://mp.weixin.qq.com/s?__biz=MzI4NjI1OTI4Nw==&mid=2247485515&idx=1&sn=60763ddda77928943bfd3d57e0c9256e&chksm=ebdee973dca9606535b5bc8f3ee4ab4b8d3ae4167ba3aa523514cd9f092710e183d0f259ccf5&scene=178&cur_album_id=1663134697297608707#rd

分布式锁

七种方案!探讨Redis分布式锁的正确使用姿势

https://mp.weixin.qq.com/s/dHw_7HALEaNMQso0wEXEEw

Redis 实现分布式锁真的安全吗?

https://mp.weixin.qq.com/s?__biz=Mzg2NzYyNjQzNg==&mid=2247484902&idx=1&sn=886720d0cb9c10dea1922cf892f309b3&source=41#wechat_redirect

《我想进大厂》之分布式锁夺命连环9问

https://mp.weixin.qq.com/s?__biz=MzkzNTEwOTAxMA==&mid=2247491561&idx=1&sn=0a2a2728ab6e3fac2211504dcac73963&chksm=c2b25714f5c5de0239d7796ffedbfc2136cd8f7b64e8bd26a79019013314f4e1406ac4b0a8ec&scene=178&cur_album_id=1512519209967271939#rd

拜托,面试请不要再问我Redis分布式锁的实现原理

https://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483893&idx=1&sn=32e7051116ab60e41f72e6c6e29876d9&chksm=fba6e9f6ccd160e0c9fa2ce4ea1051891482a95b1483a63d89d71b15b33afcdc1f2bec17c03c&scene=21#wechat_redirect

Redis实现分布式锁

https://mp.weixin.qq.com/s/Z_xriP-jc2Bnmdcm0l5xzg

Redis锁从面试连环炮聊到神仙打架

https://mp.weixin.qq.com/s/WXnAzYbVZ7GAT6AnOeFSgA

每秒上千订单场景下的分布式锁高并发优化实践!

https://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483926&idx=1&sn=2a796ef514dea15790e45d79d233833e&chksm=fba6ea15ccd1630387b8738a00a8c1dc6ae0c535305ec4d6e3c76d64eff48bf1d47ae0eaea07&scene=21#wechat_redirect

面试官:你知道双机存储有哪几种吗?分别有哪些优缺点(主备、主从、主主)

https://mp.weixin.qq.com/s/ijsoGD66cW4RJSR0fIGA8Q

13张图彻底搞懂分布式系统服务注册与发现原理

https://mp.weixin.qq.com/s/86HREXpyFwkdwhcQujrm8g

相关文章

微信公众号

最新文章

更多