打造极致性能数据库中间件丨LVS+Keepalive+华为云DDM之理论篇

Posted 2020-12-22

背景说明

华为云分布式数据库中间件（Distributed Database Middleware，简称DDM），专注于解决数据库分布式扩展问题，突破了传统数据库的容量和性能瓶颈，实现海量数据高并发访问。

DDM使用华为关系型数据库（RDS）作为存储引擎，具备自动部署、分库分表、弹性伸缩、高可用等全生命周期运维管控能力。

上边几句话是从华为云官网的帮助手册摘录出来的[1]，简单介绍了DDM服务。从我这个使用者的角度看来，DDM主要优点有：高性能[2]、海量数据支持、数据平滑扩容和业务无感知的读写分离。这些特点正是公司当前需要的。改用DDM服务之后，各方面的性能都有很大的提升。但是，公司一部分代码使用的是php语言，而PHP语言对长连接和客户端负载均衡的支持不是很好[3]。为了解决这个问题，打算是用LVS做一个负载均衡，通过LVS连接DDM服务。花了将近一周的时间将LVS相关背景了解清楚，并搭建成功，业务运行正常。这篇文章详细介绍了搭建过程，并且对LVS+keepalive从个人理解的角度做了介绍，希望对同辈中人能略有帮助。

LVS+Keeplive理论知识

一、LVS理论基础

1.LVS是什么

The Linux Virtual Server(LVS) is a highly scalable and highly available server built on a cluster of real servers, with the load balancer running on the Linux operating system. The architecture of the server cluster is fully transparent to end users, and the users interact as if it were a single high-performance virtual server. For more information, click here.

LVS官网的介绍[4]，个人理解，LVS提供一种从Linux内核态支持的高可用、高转发效率的负载均衡。本身源码是开源的GPL协议。值得一提的，LVS是是国人章文嵩发起的一个开源项目。

【问】LVS工作在TCP/IP的哪一层？

【答】LVS有多种工作模式，不能严格的说工作在哪一层。简单说，LVS-NAT工作在IP层，LVS-DR工作在数据链路层，LVS-TUN工作在IP层。

【问】LVS能负载多少RealServer？

【答】不同的工作模式转发性能不一样，LVS-DR号称可以支持200+以上节点。

如下对LVS的几种工作模式做个简单的介绍，内容均来自简书“酱油菠菜”的一篇文章：https://www.jianshu.com/p/8a61de3f8be9。目前是看到的最简清晰的介绍了：

LVS的3种工作模式，各自有自己的适用场景，目前用的比较多是LVS-DR模式，DR模式也是3中模式中性能最高的。

2.LVS-NAT

原理：

基于ip伪装MASQUERADES，原理是多目标DNAT。

所以请求和响应都经由Director调度器。

优点：

●支持端口映射

●RS可以使用任意操作系统

●节省公有IP地址。

RIP和DIP都应该使用同一网段私有地址，而且RS的网关要指向DIP。

使用nat另外一个好处就是后端的主机相对比较安全。

缺点：

请求和响应报文都要经过Director转发；极高负载时，Director可能成为系统瓶颈。

就是效率低的意思。

3.LVS-TUN

原理：

基于隧道封装技术。在IP报文的外面再包一层IP报文。

当Director接收到请求的时候，选举出调度的RealServer

当接受到从Director而来的请求时，RealServer则会使用lo接口上的VIP直接响应CIP。

这样CIP请求VIP的资源，收到的也是VIP响应。

优点：

●RIP、VIP、DIP都应该使用公网地址，且RS网关不指向DIP；

●只接受进站请求，解决了LVS-NAT时的问题，减少负载。

●请求报文经由Director调度，但是响应报文不需经由Director。

缺点：

●不指向Director所以不支持端口映射。

●RS的OS必须支持隧道功能。

●隧道技术会额外花费性能，增大开销。

3.LVS-DR

原理：

当Director接收到请求之后，通过调度方法选举出RealServer。

讲目标地址的MAC地址改为RealServer的MAC地址。

RealServer接受到转发而来的请求，发现目标地址是VIP。RealServer配置在lo接口上。

处理请求之后则使用lo接口上的VIP响应CIP。

优点：

●RIP可以使用私有地址，也可以使用公网地址。

●只要求DIP和RIP的地址在同一个网段内。

●请求报文经由Director调度，但是响应报文不经由Director。

●RS可以使用大多数OS

缺点：

●不支持端口映射。

●不能跨局域网。

二、Keepalive简介

Keepalive的官网介绍如下：

Keepalived is a routing software written in C. The main goal of this project is to provide simple and robust facilities for loadbalancing and high-availability to Linux system and Linux based infrastructures. Loadbalancing framework relies on well-known and widely used Linux Virtual Server (IPVS) kernel module providing Layer4 loadbalancing. Keepalived implements a set of checkers to dynamically and adaptively maintain and manage loadbalanced server pool according their health. On the other hand high-availability is achieved by VRRP protocol. VRRP is a fundamental brick for router failover. In addition, Keepalived implements a set of hooks to the VRRP finite state machine providing low-level and high-speed protocol interactions. Keepalived frameworks can be used independently or all together to provide resilient infrastructures.

简单概括如下：

●Keepalive是C语言写的

●Keepalive被广泛应用于和LVS一起提供4层的负载均衡

● Keepalive可以探测负载均衡节点的健康状态，管理负载均衡节点

●通过VRRP协议提供高可靠

从上文的介绍可以看出，使用LVS+Keepalive可以搭建一个具备故障自动迁移的高可用负载均衡。本篇主要介绍了一些基础理论知识，下一篇会详细的说明怎么样一步步使用LVS+Keepalive+DDM搭建高性能的数据库中间件，敬请期待。

参考文献

[1]. 华为云DDM官网帮助文档：https://support.huaweicloud.com/productdesc-ddm/zh-cn_topic_0063320859.html

[2]. 华为云DDM性能指标：https://support.huaweicloud.com/bestpractice-ddm/zh-cn_topic_0062151536.html

[3]. 如何连接华为云DDM实例：https://support.huaweicloud.com/usermanual-ddm/zh-cn_topic_0055087669.html

[4]. LVS官网：http://www.linuxvirtualserver.org/

[5]. Linux服务器集群系统（一）：http://www.linuxvirtualserver.org/zh/lvs1.html

[6]. Keepalive官网：http://www.keepalived.org/