大型网站演化历程

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大型网站演化历程相关的知识,希望对你有一定的参考价值。

随着网站业务发展,一台服务器不能满足需求,需要进行应用和数据分离。应用和数据分离后需使用三台服务器:应用服务器(处理业务逻辑,高CPU),文件服务器(更大硬盘),数据库服务器(快速磁盘检索、数据缓存,更快的硬盘和更大内存)。但当用户访问增多是,数据库压力变大。

 

 使用缓存改善网站性能,主要两种形式:缓存在应用服务器上和缓存在专门分布式缓存服务器上。缓存在应用器上快,但内存有限;分布式使用集群方式,部署大内存服务器作为专门缓存服务器。但单一应用服务器处理的请求连接有限,在高峰期,应用服务器成为整个网站的瓶颈。

 

通过负载均衡调度服务器,可将用户请求分发到应用服务器集群中的任何一台服务器上,使应用服务器的负载压力减少

 

  当使用缓存后,绝大部分数据操作不通过数据库访问操作即可完成,但仍有一部分读操作和全部的鞋操作需要访问数据库,当用户达到一定规模后,数据库因为负载过高成为网站的瓶。所以通过数据库读写分离,减轻数据库负载。现在主流数据库均支持初从备份功能,应用服务器在写数据时,访问数据库,主数据库通过主从复制机制将数据更新同步到数据库,这样当应用数据库读数据时,通过从数据库获取数据。

 

  由于不同地区的用户访问网站时,速度差别极大。可以通过CDN和反向代理两种方式解决此问题。CDN和反向代理的基本原理为缓存,区别在于CDN部署在网络提供商的机房,让用户在距离自己最近的机房获取数据。反向代理部署在网络中心机房,如果反向代理缓存这用户请求资源,就将其直接返回给用户。

  如果到最后仍然不能满足需求,则需要使用分布式数据库,分布式文件系统。不到不得已是,网站更常用的数据库拆分手段是业务分库,将不同业务的数据库部署在不同物理服务器上。

  当对数据存储和检索越来越复杂时,需要采用非关系数据库如NoSQL和非数据库查询技术如搜索引擎,其对可伸缩的分布式特性具有更好的支持。应用服务器则通过一个统一数据访问模块访问各种数据,减轻应用程序管理诸多数据源的麻烦。

 

  当有日益负责的业务长江是,通过将整个网站业务划分为不同的产品线,然后拆分为不同的应用,通过超链接或者消息队列进行数据分发。这就是业务拆分。


以上是关于大型网站演化历程的主要内容,如果未能解决你的问题,请参考以下文章

大型网站技术架构——架构演化发展历程

大型网站架构演化发展历程

大型网站架构演化发展历程

java程序猿值得一看BAT等大型互联网公司的网站架构演化历程

大型网站技术架构-入门梳理

大型网站架构演化