分布式系统技术到底怎么学？

Posted 2021-08-11 四猿外

先放一张分布式系统技术栈的图镇楼

你看分布式系统的技术栈这么多、这么复杂对吧，别慌。

我们要学习必须要讲究方法，方法得当，事半功倍。

我们先看看为什么需要这么多技术栈？只有知道为什么了，你才能学明白，才不会死记硬背。

分布式系统的出现完全是形式所迫，完全是业务发展导致的最终结果。而由于业务的拆分，我们又被迫会衍生出更多的分布式需求来，以及应对这些需求的技术：

• 因为业务拆分的多，业务对应的模块之间就需要通信，为了保证通信的快速可靠，我们需要掌握分布式通信技术。
• 业务拆分的过多，每个模块可能还需要搞集群，那么多服务器资源，为了能够保证资源的精准分配，我们还需要考虑分布式资源管理和负载调度技术。
• 业务拆分之后，模块与模块之间又需要对很多共享数据做访问，为了保证安全完整的数据状态，我们也要用到分布式协调与同步技术。
• 到了业务拆分的阶段，数据必然庞大，为了数据存储的可靠，为了保证优秀的数据读写性能，我们需要分布式存储技术。
• 业务如此复杂，为了公司的发展，业务能继续扩大，就需要能更加精准的营销和运营，我们还需要对数据进行实时、离线处理分析，此时，我们又得考虑分布式计算技术。
• 在业务拆分后，整体架构出现了巨变，不可能再用以前集群方式的思维去考虑高可用，那么分布式的可靠性技术又要纳入我们的掌握范畴。

在分布式技术栈中我们可以看到，其实分布式技术是有分类的，我们可以根据不同的分类去掌握每种类别的分布式技术背后的概念和思想。无论分布式技术有多少实现，这些实现永远都是以其所在分类的分布式技术原理作为核心底层来实现的。

那么，我们应该如何去学习呢？

如何学习分布式系统的技术栈

我们在学习当中，还必须理论联系实际，根据我们的实际开发和架构需要学习。

而且，业务是逐步发展的，项目也不会一下就发展的特别庞大。这就给与了我们分步学习，逐步掌握的时间和机会。

1 分布式通信

那具体到底如何做呢？

首先，分布式中的根基是什么？就我自己的经历而言，我认为是通信，最重要的其实分布式系统中那些模块中的通信机制。

而通信机制该怎么学习？我认为首先要了解我们可用的各通信机制的区别。其中尤为重要的是了解各通信机制的缺点。对，你没看错，就是缺点。

为什么缺点最重要呢？因为架构师在架构的时候，一项尤为重要的工作就是做技术选型。而技术选型的目标很多时候的应用场景往往非常模糊，如果能了解到各选型的缺点，则对选型的结果是否准确就起到了极其重要的作用。

比如，我们现在想搞模块间通信，那么到底是用 RPC 还是用 MQ ？此时，我们知道 RPC 的缺点和 MQ 的缺点的话，就能很容易做出更准确的选型。

RPC 的缺点:

• 不能搞流量削锋
• 不能广播给多个模块
• 消息投递没有保证
• 模块和模块之间没法解耦

MQ 的缺点：

• 不能保证延迟时间
• 不适合搞强一致性的事务
• 增加了系统的复杂度
• 降低了系统的可用性

好了，知道了缺点，我们就很容易选型了。如果我们现在有个业务是实时扣费，我们肯定要搞 RPC，因为这是延迟敏感并且是需要强一致性。

如果我们现在有个业务是同时给会计系统和合作方发记账请求的需求，那这时候我们就可能选用 MQ 通信了。

2 分布式协调和同步

我们理解了分布式通信之后，下一步我认为最要学的是分布式协调和同步。

因为在现实里，即使系统搞成分布式了，其实往往没有特别大，分布式资源管理暂时可以先不考虑。分布式存储也可能还在使用数据库的主备或者 Sharding 方式在抗。而分布式计算的需求也可能没有那么紧急。

但是，一旦分布式系统中的全局状态出问题了，那就是事故了。所以，理解分布式协调和同步，一定是很紧急也很重要的。

那协调和同步怎么学呢？

我们要知道，我们所谓的协调数据访问，同步数据访问到底是在做什么。其实协调数据访问的本质就是去对数据访问的请求做优先级排列，这就是协调数据访问的本质。而如何定义优先级？根据什么定义优先级？就是我们需要学习的东西。

至于同步，其实就是对数据访问的保护。如何限制对数据的访问？限制数据访问的策略是什么？就是同步的本质。

然后，如果我们理解了多线程的数据协调和同步，我们通过分布式和多线程的相同和区别，能更容易更快速的去把握好分布式协调的技术本质。

3 分布式存储

当理解了分布式协调和同步之后，我们就应该关注分布式存储。因为业务的核心是数据，海量的数据最终还需要分布式存储来解决安全可靠的持久化问题。

而分布式存储最最重要的是理解什么？不是存储的各种实现，是分布式存储的立身之本：CAP 理论。

我们通过对 CAP 理论的理解，去理解分布式存储实现是如何实现对应的 CP 或者 AP 的，就会非常容易了。并且理解了 CAP，我们就能根据真实的业务需求，理解业务是需要 CP 还是 AP，然后就能根据这些，对分布式存储做合适的选型了。

4 分布式计算

当学习了分布式存储，此时，我们就应该去学习分布式计算。因为分布式计算很可能会成为一个重要的运营需求。而分布式计算，就整体而言，一共就四种模式。任你千变万化，都逃不掉这四种模式。

从计算方式上看，一共就两种方法：

1. MR 方式（MapReduce）
2. Stream 方式

从处理过程来看，也只有两种模式：

1. Actor 模式
2. 流水线模式

5 分布式可靠性

到此，在知道了这些知识之后，对于一般公司的架构任务，架构师们做起来就游刃有余了。一个完整的正向分布式学习流程的知识，其实就差不多了。

此时，我们还需要知道一般的分布式可靠性的处理方案。其实大体也不会超过三种：

1. 对量大的模块搞负载均衡的集群；
2. 对某些有资源限制条件的模块可以搞流量控制；
3. 当任何模块对应的服务器出现问题时，想办法不让它影响正常的系统运转，而这个就叫做故障隔离。

而对于以上三种方案，其中两种其实都是很通用的技术，即使大家不搞分布式，也照样需要学习和了解。

唯独对于第三种，故障隔离，是需要深入了解下的。但是故障隔离并不是什么高大上的黑科技，当我们搞分布式的时候，由于天然是不同的模块有不同的机器，并且机器还做了集群，所以，这个故障隔离就是天然就有的。

只是，有的时候，我们想更细粒度的对故障隔离进行阻隔，比如，想在线程级别或者进程级别就把故障隔离开了。此时，我就就可以考虑用下线程或者容器等去执行任务，然后才去一些调度策略，把故障就天然的隔离为线程或者进程级别了。

6 分布式资源管理

最后，我们想深造能应对更庞大的分布式系统，毕竟人都是追求进步的。这时候，我们就需要去理解分布式的体系结构相关的知识，需要去理解分布式的资源管理。

但庆幸的是，分布式的资源管理本身技术栈很小。对于分布式体系结构，一共就两种结构：

1. 集中式结构
2. 非集中式结构

对于分布式资源的分配或者说调度，一共就三种方法：

1. 单体调度
2. 两层调度
3. 共享状态调度

最后

以上，我将分布式系统的技术进行了拆解、归类和总结，是不是清晰很多了？

即使还是有点懵，也别着急，一口吃不成个胖子。

上面写的，我只是整体出来了一条线，但是很多东西其实也可以并行学习。另外，关于如何学习，这方面是仁者见仁，智者见智，不喜勿喷！