一文理清负载均衡（nginx，LVS）的工作原理

Posted 2021-05-07 程序员二黑

根据规模的提升在不同的阶段需要使用不同的技术和架构，具体的需求需要具体分析，如果是中小型的 Web 应用。

• 日活跃小于 1000 万，使用 nginx 就可以完全满足了；
• 大型网站或重要的服务，并且服务比较多时，就可以考虑使用 LVS。

nginx

Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。

Nginx 特点是占有内存少，并发能力强，nginx 的并发能力在同类型的网页服务器中表现较好。

Nginx 的简单架构：

 

Nginx 的架构设计

Nginx 的架构设计采用的是模块化的，基于事件驱动、异步、单线程且非阻塞（epoll 模型）

Nginx 使用多路复用和事件通知，Nginx 启动后，在后台以 daemon 的方式在系统中运行，其中会包括一个主（master）进程，n（n≥1）个工作（worker）进程。

所有的进程都是单线程（即只有一个主线程）的，进程间通信主要使用共享内存的方式。

其中，master 进程用于接收外部的请求，发送信号给 worker 进程，同时监控 worker 进程的工作状态。

worker 进程用来处理外部请求信息，请求只能在一个 worker 进程中被处理，一个 worker 进程只有一个主线程，同时只能处理一个请求。

Nginx 负载均衡

Nginx 负载均衡是对七层网络通信模型中的应用层（HTTP，HTTPS）进行的。

Nginx 是以反向代理的方式进行负载均衡

• 反向代理：是以代理服务器来接收用户的请求，然后将请求发给内部网络上的服务器，并将服务器上的结果返回给请求的客户端，此时代理服务器就是一个服务器。
• 负载均衡：就是将这些客户端的请求按照某种策略分摊到后台多台服务器上面，进行处理。

Nginx 的 upstream 目前支持 6 种算法分配方式：

 

轮询

最基本的配置方法，它是 upstream 模块默认的负载均衡默认策略。每个请求会按时间顺序逐一分配到不同的后端服务器。

有如下参数：

 

在 30 秒内错误次数超过 2 次，就认为服务器已经不能访问了，下次就不会访问该机器

server 10.168.226.1:8080 max_fails=2 fail_timeout=30s;

server 10.168.226.2:8080 max_fails=2 fail_timeout=30s;

weight

权重方式，在轮询策略的基础上指定轮询的几率

server 10.168.226.1:8080 weight=1 ;

server 10.168.226.2:8080 weight=2;

注意：

• 权重越高分配到需要处理的请求越多。
• 此策略比较适合服务器的硬件配置差别比较大的情况。

ip_hash

指定负载均衡器按照基于客户端 IP 的分配方式，这个方法确保了相同的客户端的请求一直发送到相同的服务器，以保证 session 会话。

这样每个访客都固定访问一个后端服务器，可以解决 session 不能跨服务器的问题。

ip_hash; # 保证每个访客固定访问一个后端服务器

server 10.168.226.1:8080 weight=1 ;

server 10.168.226.2:8080 weight=2;

注意：

ip_hash在nginx1.3版本之后才有的 ip_hash不能与backup同时使用这种策略适合有状态服务，比如session 当有服务器需要剔除，必须手动down掉。

least_conn

把请求转发给连接数较少的后端服务器，轮询算法是把请求平均的转发给各个后端服，使它们的负载大致相同。

但是，有些请求占用的时间很长，会导致所在的后端负载较高，这种情况下，least_conn这种方式就可以达到更好的负载均衡效果least_conn;

server 10.168.226.1:8080 weight=1;

server 10.168.226.2:8080 weight=2;

注意：

这种负载均衡策略适合请求处理时间长短不一致造成服务器过载的情况

第三方策略

第三方的负载均衡策略的实现需要安装第三方插件（upstream_fair)

• fair安装服务器端响应时间来分配请求，响应时间段的优先分配fair；server 10.168.226.1:8080 weight=1;
  server 10.168.226.2:8080 weight=2;
• url_hash按访问 URL 的 hash 结果来分配请求，是每个 URL 定向知道同一个后端服务器，要配合缓冲命中来使用同一个资源多次求，可能会到达不同的服务器上，导致不必要的多次下载，缓存命中率不高以及一些资源时间的浪费。而使用 url_hash，可以使得同一个 URL 会到达同一台服务器，一段缓存了资源，再次请求的时候，就可以从缓存中读取，需要 hash 软件包

• hash $request_uri; # 实现每个 URL 定向到同一个后端服务器
• server 10.168.226.1:8080 weight=1;
  server 10.168.226.2:8080 weight=2;

Nginx 的优点

• 跨平台：Nginx 可以在 Linux 上编译运行，也可以在 window 上运行
• 配置简单：直接可以通过简单修改配置文件，容易上手
• 非阻塞、高并发：官网理论可以支持 5 万并发连接，在实际生产环境也可以跑到 2-3 万的并发
• 事件驱动：采用 epoll 模型，支持更多的并发连接
• 内存消耗小：内存和 CPU 占用率低。（为 Apache 的 1/5-1/10）
• 内置健康检查：Nginx 代理的后端的某台服务器宕机了，会自动不访问该机器

Nginx 的缺点

• Nginx 仅能支持 HTTP，HTTPS，tcp，email 等协议
• 不支持直接保存 session，可以通过 ip_hash 来支持

LVS

LVS 就是 Linux 虚拟（Virtual Server）服务器。从 Linux 内核 2.4 之后，内置了 LVS 的各个功能模块，就可以直接 使用 LVS 提供的功能。

LVS 的体系架构

 

LVS 架构 的服务器集群系统有三个部分 组成：

• 最前端的负载均衡层，用 Load Balancer 表示
• 中间的服务器集群层，用 Server Array 表示
• 最底层的数据共享层，Shard storage 表示

负载均衡机制

LVS 是四层负载均衡，建立在 OSI 模型的第四层——传输层之上，传输层有 TCP/UDP，相对于其它高层负载均衡的方法，比如 DNS 域名轮询解析，应用层负载的调度，客户端的调度等，它的效率都非常高。

• 四层负载均衡：主要通过报文中的目标地址和端口
• 七层负载均衡：也称为“内容交换”，主要通过报文中的 真正有意义的应用层内容。

LVS 的转发主要通过修改 IP 地址（NAT 模式，分为源地址修改 SNAT 和目标地址修改 DNAT）、修改目标 MAC（DR 模式）来实现。

LVS 相关术语

DS：Director Server。指的是前端负载均衡器节点。

RS：Real Server。后端真实的工作服务器。

VIP：向外部直接面向用户请求，作为用户请求的目标的 IP 地址。

DIP：Director Server IP，主要用于和内部主机通讯的 IP 地址。

RIP：Real Server IP，后端服务器的 IP 地址。

CIP：Client IP，访问客户端的 IP 地址

NAT 模式：网络地址转换

NAT（network address transaction）是外网和内网地址映射的技术。

NAT 模式下，网络数据的进出都要经过 LVS 处理，LVS 需要作为真实服务器的网关。

 

• 当包请求到 LVS 时，LVS 做目标地址转换(DNAT)，将目标 IP 改为 RS 的 IP。
• RS 处理完，返回响应时，源 IP 是 RS IP，目标 IP 是客户端的 IP。
• RS 的包通过网关(LVS)中转，LVS 做源地址转换(SNAT)，将包的源地址改为 VIP，这样，这个包对客户端来说就像是 LVS 直接返回给它的。

DR 模式：直接路由

DR 模式下需要 LVS 和 RS 集群绑定同一个 VIP，与 NAT 的不同点在于：

请求由 LVS 接受，由真实提供服务的服务器(RS)直接发放给用户，返回的时候不经过 LVS。

 

一个请求过程中，LVS 只需要将网络帧的 Mac 地址修改为某一台 RS 的 MAC，该请求就去会被转发到响应的 RS 处理，此时的源 IP 和目标 IP 都没有变。

RS 收到 LVS 转发来的请求时，链路层发现 Mac 地址是自己的，当上面的网络层，也发现 IP 是自己的，于是这个包被合法的接受，RS 感知不到前面有 RS 的存在。当 RS 返回响应时，只要直接向源 IP 返回即可，不再经过 LVS。

DR 负载均衡模式数据分发过程中不修改 IP 地址，只修改 Mac 地址，由于实际处理请求的真实物理 IP 地址和 数据请求目的 IP 地址一致，所以不需要通过负载均衡服务器进行地址转换，就可以将响应数据直接返回给浏览器，避免服务器网卡带宽成为瓶颈。

DR 模式具有较好的性能，也是目前大型网站使用最广泛的一种负载均衡。

LVS 的优点

• 负载能力强，工作在传输层上仅作为分发的作用，没有流量的产生，对内存和 CPU 资源消耗比较低
• 配置简单，很容易上手
• 工作稳定，有完整的双机热备方案，如：LVS+Keepalived
• 无流量，LVS 只分发请求
• 应用范围比较广，LVS 工作在传输层，几乎可以对所有应用做负载均衡，包括 HTTP，数据库

LVS 的缺点

• 软件本身不支持正则表达式，不能做动静方法分离
• 网站应用比较庞大的话，LVS 实施起来比较复杂

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴我走过了最艰难的路程，希望也能帮助到你

关注我的微信公众号【程序员二黑】免费获取

最后，写给大家：每一个优秀的人，都不是带着与生俱来的光环的，也不一定是比别人幸运。他们只是在任何一件小事上，都对自己有所要求，不因舒适而散漫放纵，不因辛苦而放弃追求。雕塑自己的过程，必定伴随着疼痛与辛苦，可那一锤一凿的自我敲打，终究能让我们收获一个更好的自己。