im即时通讯开发新手入门：零基础理解大型分布式架构

Posted 2022-04-28 wecloud1314

随着社会的发展、互联网技术的进步，以前的大型机服务端架构很显然由于高成本、难维护等原因渐渐地变得不再那么主流了，替代它的就是当下最火的互联网分布式架构。

从若干年前大行其道的传统大型机到如今的分布式架构，技术发展已经经历了好几个阶段，我们只有弄明白典型互联网架构在各个阶段的演进，才能更好地理解和体会分布式架构的好处，从而有助于我们序设计适合于自已公司、产品或项目的架构（也包括设计即时通讯网专注的IM和消息推送这类系统，因为技术思路的原理都是一脉相承的）。那么本文我们就来聊聊分布式架构的演进过程，希望能给大家带来眼前一亮的感觉。

即时通讯网作为IM和推送技术研究、学习和分享的社区，整理了大量的跟IM和推广技术有关的基础技术资料（比如网络基础、通信理论、架构基础等），本文内容虽然看起来跟IM和推送技术没有直接的关联性，但因为设计IM和推送系统的技术思路和原理跟典型大型互联网分布式架构都是一脉相承的，因而读懂本文内容对于IM和推送系统的架构设计同样大有裨益。

 

我们都知道一个成熟的大型网站的系统架构并非一开始就设计的非常完美，也没有一开始就具备高性能、高并发、高可用、安全性等特性，而是随着用户量的增加、业务功能的扩展逐步演变过来的，慢慢的完善的。 在这个过程中，开发模式、技术架构等都会随着迭代发生非常大的变化。 而针对不同业务特征的系统，各自都会有自己的侧重点，例如像淘宝这类的网站，要解决的重点问题就是海量商品搜索、下单、支付等问题; 像腾讯这类的网站，要解决的是数亿级别用户的实时消息传输;而像百度这类的公司所要解决的又是海量数据的搜索。每一个种类的业务都有自己不同的系统架构。

为了方便展开本文要讲解的内容，我们来简单模拟一个架构演变过程： 我们以 javaweb 为例，来搭建一个简单的电商系统，从这个系统中来看系统的演变过程。要注意的是接下来的演示模型， 关注的是数据量、访问量提升，网站结构的变化， 而不关注具体业务的功能点。其次，这个过程是为了让大家能更好的了解网站演进过程中的一些问题和应对策略。

 

假如我们要设计的互联网系统需要具备以下功能:
 

• 1）用户模块：用户注册和管理；
• 2）商品模块:商品展示和管理；
• 3）交易模块:创建交易及支付结算。

随着网站的上线，访问量逐步上升，服务器的负载慢慢提高，我们应该在服务器还没有超载的时候就做好规划、提升网站的负载能力。假若此时已经没办法在代码层面继续优化提高，那么在单台机器的性能遇到瓶颈的时候，增加机器是一个比较简单好用的方式，投入产出比相当高。这个阶段增加机器的主要目的是将 web 服务器和 数据库服务器拆分开来，这样做的话不仅提高了单机的负载能力，也提高了整个系统的容灾能力。

架构演进阶段三：应用服务器集群

这个阶段，随着访问量的继续不断增加，单台应用服务器已经无法满足我们的需求。 假设我的数据库服务器还没有遇到性能问题，那我们可以通过增加应用服务器的方式来将应用服务器集群化，这样就可以将用户请求分流到各个服务器中，从而达到继续提升系统负载能力的目的。此时各个应用服务器之间没有直接的交互，他们都是依赖数据库各自对外提供服务。

系统架构发展到这个阶段，各种问题也会接踵而至：
 

• 1）用户请求交由谁来转发到具体的应用服务器上(谁来负责负载均衡)；
• 2）用户如果每次访问到的服务器不一样，那么如何维护session，达到session共享的目的。

负载均衡又可以分为软负载和硬负载。软负载我们可以选择nginx、Apache等，硬负载我们可以选择F5等。而session共享问题我们可以通过配置tomcat的session共享解决。

架构演进阶段四：数据库压力变大，数据库读写分离

架构演变到上面的阶段，并不是终点。通过上面的设计，应用层的性能被我们拉上来了， 但数据库的负载也在逐渐增大，那如何去提高数据库层面的性能呢？有了前面的设计思路以后，我们自然也会想到通过增加服务器来提高性能。但假如我们单纯的把数据库一分为二，然后对于数据库的请求，分别负载到两台数据库服务器上，那必定会造成数据库数据不统一的问题。即时通讯开发

这个架构设计的变化会带来如下几个问题：
 

• 1）主从数据库之间的数据需要同步(可以使用 mysql 自带的 master-slave 方式实现主从复制 )；
• 2）应用中需要根据业务进行对应数据源的选择( 采用第三方数据库中间件，例如 mycat )。

架构演进阶段五：使用搜索引擎缓解读库的压力

我们都知道数据库常常对模糊查找效率不是很高，像电商类的网站，搜索是非常核心的功能，即使是做了读写分离，这个问题也不能得到有效解决。那么这个时候我们就需要引入搜索引擎了，使用搜索引擎能够大大提升我们系统的查询速度，但同时也会带来一 些附加的问题，比如维护索引的构建、数据同步到搜索引擎等。

架构演进阶段六：引入缓存机制缓解数据库的压力

然后，随着访问量的持续不断增加，逐渐会出现许多用户访问同一内容的情况，那么对于这些热点数据，没必要每次都从数据库重读取，这时我们可以使用到缓存技术，比如 redis、memcache 来作为我们应用层的缓存。

另外在某些场景下，如我们对用户的某些 IP 的访问频率做限制， 那这个放内存中就又不合适，放数据库又太麻烦了，那这个时候可以使用 Nosql 的方式比如 mongDB 来代替传统的关系型数据库。

架构演进阶段七：数据库的水平/垂直拆分

我们的网站演进的变化过程，交易、商品、用户的数据都还在同一 个数据库中，尽管采取了增加缓存，读写分离的方式，但是随着数 据库的压力持续增加，数据库的瓶颈仍然是个最大的问题。因此我 们可以考虑对数据的垂直拆分和水平拆分。

• 垂直拆分：把数据库中不同业务数据拆分到不同的数据库；
• 水平拆分：把同一个表中的数据拆分到两个甚至更多的数据库中，水平拆分的原因是某些业务数据量已经达到了单个数据库的瓶颈，这时可以采取将表拆分到多个数据库中。

架构演进阶段八：应用的拆分

随着业务的发展，业务量越来越大，应用的压力越来越大。工程规模也越来越庞大。这个时候就可以考虑将应用拆分，按照领域模型将我们的用户、商品、交易拆分成多个子系统。

这样拆分以后，可能会有一些相同的代码，比如用户操作，在商品和交易都需要查询，所以会导致每个系统都会有用户查询访问相关操作。这些相同的操作一定是要抽象出来，否则就是一个坑。所以通过走服务化路线的方式来解决。

创作打卡挑战赛 赢取流量/现金/CSDN周边激励大奖