数据库中间件mysql-proxy细节mysql官方的中间件

Posted 2021-04-30 架构师之路

一、mysql-proxy简介

mysql-proxy是mysql官方提供的mysql中间件服务，上游可接入若干个mysql-client，后端可连接若干个mysql-server，它使用mysql协议，任何连接mysql的上游无需任何更改即可迁移至mysql-proxy上。

mysql-proxy最基本的用法，就是作为一个请求拦截，请求中转的中间层：

进一步的，mysql-proxy可以分析与修改请求。拦截查询和修改结果，需要通过编写Lua脚本来完成。mysql-proxy允许用户指定Lua脚本对请求进行拦截，对请求进行分析与修改，它还允许用户指定Lua脚本对服务器的返回结果进行修改，加入一些结果集或者去除一些结果集均可。

【SK画外音：sql拦截与修改，性能分析与监控，读写分离，请求路由等各种功能都是通过编写Lua脚本来完成的，mysql-proxy是个框架，具备很好的扩展性。这个框架提供了6个hook点，能够让用户能够动态的介入到client与server中的通讯中去。】

二、mysql-proxy命令参数

版本显示

使用--version参数即可：

./mysql-proxy --version

从输出可以看到mysql-proxy的版本，以及依赖的glib，libevent，lua的版本

1 mysql-proxy0.8.3

2 chassis: mysql-proxy 0.8.3

3 glib2: 2.16.6

4 libevent: 1.4.13-stable

5 LUA: Lua 5.1.4

8 -- modules

9 proxy: 0.8.3

简单启动

mysql-proxy启动至少需要指定一个后端mysql的ip和端口号，此时带上--proxy-backend-addresses参数即可：

./mysql-proxy --proxy-backend-addresses=127.0.0.1:3306

指定配置文件启动

mysql-proxy亦可以指定配置文件启动，此时带上--defaults-file来指定配置文件即可：

./mysql-proxy --defaults-file=./mysql-proxy.cnf

mysql-proxy.cnf的格式如下：

1[mysql-proxy]

2proxy-backend-addresses = 127.0.0.1:3306

需要注意，在命令行中参数前需要加入“--”，而在配置文件中则不需要。

寻求帮助

可以使用--help，或者--help-all

./mysql-proxy --help

./mysql-proxy --help-all

Proxy常用选项

选项	说明
proxy-backend-addresses=$host:$port	后端mysql的ip和port，多个以逗号分隔
proxy-read-only-backend-addresses=$host:$port	后端只读mysql的ip和port，多个以逗号分隔
proxy-skip-profiling=$bool	是否禁用查询性能剖析
proxy-lua-script=$file_name	lua文件

注意：

如果设置了多个后端mysql，负载均衡策略为round-robin。例如设了A和B两台后端，第一个请求转发到A，第二个请求转发到B，第三个请求转发到A，以此类推。

Proxy服务常用选项

选项	说明
proxy-address=$host:$port	mysql-proxy的ip和port，默认port是4040
daemon=$bool	是否使用daemon模式启动
event-threads=$count	event-handing线程数，默认值是1
keep-alive=$bool	proxy服务崩溃后自动重启
log-file=$file_name	日志文件
log-level=$level	日志级别：error|warning|info|message|debug
log-use-syslog=$bool	日志使用syslog
max-open-files=$count	最大文件句柄数
pid-file=$file_name	pid文件

典型配置文件示例

1[mysql-proxy]

2

3proxy-address = 127.0.0.1:4040

4 daemon =true

5event-threads = 2

6 keep-alive= true

7 log-file =./mysql-proxy.log

8 log-level= debug

9max-open-files = 1024

10 pid-file =./mysql-proxy.pid

11

12 proxy-lua-script= ./ro-balance.lua

13proxy-backend-addresses = 127.0.0.1:3306

14proxy-skip-profiling = false

启动过程中提示：

2013-12-28 15:15:49: (critical)mysql-proxy-cli.c:326: loading config from './mysql-proxy.cnf' failed:permissions of ./mysql-proxy.cnf aren't secure (0660 or stricter required)

由于安全要求，必须将配置文件权限设为660（创建人可读写，同组人可读），否则不允许启动。

三、mysql-proxy脚本编程

如“简介”中所述，mysql-proxy向用户提供了6个hook点，让用户实现Lua脚本来完成各种功能，这些hook点是以函数的形式提供的，用户可以实现这些函数，在不同事件、不同操作发生时，做我们期望的事情。

connect_server()

mysql-client向proxy发起连接时，proxy会调用这个函数。用户可以实现该函数，来做一些负载均衡的事情，例如选择将要连向那个mysql-server。假设有多个mysql-server后端，而用户又没有实现这个函数，proxy默认采用轮询（round-robin）策略。

read_handshake()

mysql-server向proxy返回“初始握手信息”时，proxy会调用这个函数。用户可以实现这个函数，来做更多的权限验证工作。

read_auth()

mysql-client向proxy发送认证报文（user_name, password,database）时，proxy会调用这个函数。

read_auth_result()

mysql-server向proxy返回认证结果时，proxy会调用这个函数。

read_query()

认证完成后，mysql-client每次经过proxy向mysql-server发送query报文时，proxy会调用这个函数。用户如果要拦截请求，就可以模拟mysql-server直接返回了，当然用户亦可以实现各种策略，修改请求，路由请求等各种不同的业务逻辑。

read_query_result()

认证完成后，mysql-server每次经过proxy向mysql-client返回query结果时，proxy会调用这个函数。需要注意，如果用户没有显示实现read_query()函数，则read_query_result()函数是不会被调用的。用户可以在此处实现各种合并策略，或者对结果集进行修改。

【SK画外音：下图是一个各hook函数的触发图（请注意请求方向）】

【SK继续画外音：可以发现，最重要的两个函数其实是read_query()和read_query_result()，各种sql的改写与结果集的改写逻辑，都是在这两个函数中实现的，更细节的query过程如下图】

案例一： sql时间统计分析

不妨设mysql-client提交的原sql为：SELECT * FROM City;

proxy可以在read_query()里将其改写为：SELECT NOW(); SELECT *FROM City; SELECT NOW();

这样在返回结果集时，就可以在应用层对sql时间进行记录，以方便统计分析。

案例二：sql性能统计分析

不妨设mysql-client提交的原sql为：SELECT * FROM City;

proxy可以在read_query()里将其改写为： SELECT * FROM City; EXPLAIN SELECT * FROMCity;

这样在返回结果集时，就可以在应用层对sql性能进行记录，以方便统计分析。

需要强调的是，这两个案例，由于proxy在read_query()时对sql进行了改写，故在read_query_result()时，mysql-server其实返回了比原请求更多的信息，proxy一定要将多余的信息去掉，再返回mysql-client。多说一句，可以加入一个唯一ID，来对请求sql和返回结果进行配对。

demo

需求：在业务层统计sql日志

实现：tutorial-basic.lua

1 -- 如果是COM_QUERY，就将内容打印出来

2 functionread_query( packet )

3 if string.byte(packet) == proxy.COM_QUERYthen

4 print("we got a normal query:" .. string.sub(packet, 2))

5 end

6 end

修改配置并重启proxy：

proxy-lua-script = tutorial-basic.lua

客户端使用黑黑的窗口连接4040端口的proxy，并进行一系列sql操作，操作序列如下：

mysql -h127.0.0.1 -uroot -P4040

show databases;

use im;

show tables;

select * from user;

quit

通过tutorial-basic.lua，会将上述操作都记录到日志中，日志序列如下：

we got a normal query: select @@version_comment limit1

we got a normal query: show databases

we got a normal query: SELECT DATABASE()

we got a normal query: show tables

we got a normal query: select * from user

【SK画外音：咦，通过这个日志我才知道，连上数据库会默认发一个select @@version_comment limit 1的请求呢。use im;这个请求，为啥变成SELECT DATABASE()了呢？】

四、FAQ

（1）如何实现最简单的读写分离？

shell> mysql-proxy \

--proxy-backend-addresses=10.0.1.2:3306 \

--proxy-read-only-backend-addresses=10.0.1.3:3306

（2）mysql proxy支持所有版本的mysql么？

只支持mysql5.0+的mysql协议。

（3）如果开启负载均衡，那事务怎么办？所有的query会发往同一台mysql么？

如果用户不专门定制Lua脚本，会发往同一台mysql，以保证其完整性。

（4）系统上下文切换代价大么？Lua脚本引入的额外开销有多大？

Lua很快，对于大部分应用来说，额外开销很小，原始包（raw packet）开销大概在400微秒左右。

【SK画外音：这，，，我不太相信】

（5）Lua脚本可以动态加载么？

升级了Lua脚本，连接建立后才会读取新的哟。

（6）如果proxy和mysql部署在一台机器上，有什么需要建议的呢？

proxy单独部署也可以，和mysql部署在同一台机器上也可以。相比mysql而言，proxy不怎么占CPU和内存，其性能损耗可以忽略不计。

【SK画外音：这，，，性能损耗可以忽略，这我也不信】

（7）Lua脚本是预读到内存里的吧？还是说每次都要到文件系统里读？

客户端连接过来时，或者脚本更新时会读取，其他的时候都读内存哟。

（8）加入客户端连上来，出发了connect_server()函数，Lua脚本能连接多个mysql么？

可以，使用指引里有样例代码哟。

（9）proxy可以处理SSL连接么？

不可以，作为中间人，不能处理加密信息。

（10）proxy不会获取和保存我的明文密码吧？

不会，也获取不到。mysql协议不允许密码以明文传输，传输的都是加密后的密文。

（11）有隔离问题，调试问题的工具么？如果请求出错了，我怎么知道错误发生在mysql客户端，还是mysql服务端，还是proxy呢？

你可以自己在proxy里设置debug脚本进行调试，例如设置断点什么的。

（12）瞧你官网吹的，有哪个大网站用了mysql-proxy么？请求量是什么级别？

这问题问的，作为官网我，，，盖亚在线（http://www.gaiaonline.com/） 就是用的mysql-proxy哟，qps可以到2400。

【SK画外音：这是个外国的游戏网站，页面好丑啊。】

（13）如果我在Lua脚本用使用LuaSocket可以么？

大哥，这可能引起阻塞的，强烈不建议这样。

都读到这了，帮忙随手转发一个呗，原创不易。

下一期，将介绍阿里的数据库中间件。

回复大于10的随机整数，自动获取随机好文。