原创MySQL Replay线上流量压测工具

Posted wangdong

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了原创MySQL Replay线上流量压测工具相关的知识,希望对你有一定的参考价值。

一. 背景

去年做过一次mysql trace 重放的测试,由于performance schema本身采集样本的长度等限制,实际回放的成功率比较低。

 

最近找到一款开源的工具,基于TCPCopy实现了线上流量的仿真测试,这款开源工具是网易的王斌开发,后面很多公司的模拟在线测试都是基于TCPCopy实现。

https://github.com/session-replay-tools/mysql-replay-module

 

1.实现原理

 技术分享图片

 

生产服务器上部署TCPCopy, 包捕获是在数据链路层增加一个旁路处理,使用socket在网络层抓取线上的数据包,进行加工处理,使用socket发送数据包到测试服务器。

intercept将响应信息传送给tcpcopy。通过抓取响应包,intercept提取响应头信息,并使用一个特殊的通道将响应头信息发送给tcpcopy。

当tcpcopy接受到响应头信息,它利用头信息修改在线打包器的属性并继续发送另一个包。应当注意,来自测试服务器的响应被路由到充当黑洞的辅助服务器。

 

2.使用场景

复制线上的真实流量进行压力测试,可用于新版MySQL5.7或MySQL8.0压测,MySQL  Bug排查定位,容量规划等

3.回放模式

基于tcpcopy的MySQL Replay工具有两种回放模式,支持在线抓包回放及离线回放。考虑到对生产服务器的影响尽量小,重点测试了离线回放模式。

 

二. 部署

1.环境准备

要部署离线回放,需要准备下面资源,以测试环境的IP为例:

 

生产服务器:192.168.137.110

模拟生产服务器:192.168.137.100

测试目标服务器:192.168.137.102

辅助服务器:192.168.137.101

伪装客户端IP:192.168.166.166

 

2.模拟生产服务器安装离线tcpcopy模块

git clone git://github.com/session-replay-tools/tcpcopy.git

cd tcpcopy

git clone git://github.com/session-replay-tools/mysql-sgt-replay-module.git

./configure --offline --set-protocol-module=mysql-sgt-replay-module

make

make install

 

3.辅助服务器安装离线intercept模块

git clone git://github.com/session-replay-tools/intercept.git

cd intercept

./configure

make

make install

如有报错,可能需要安装下面的包

yum install libpcap-devel

三. 生产抓取网络包并离线回放

1.生产服务器利用tcpdump抓取网络包

tcpdump -i eth1 -s 0 -C 300 tcp and port 3306 -w /data/offline.pcap

2.测试目标服务器添加静态路由

1.测试目标服务器还原对应生产服务器的DB

2.测试目标服务器以skip-grant-tables模式启动

/usr/bin/mysqld_safe --datadir=/var/lib/mysql --socket=/var/lib/mysql/mysql.sock --pid-file=/var/run/mysqld/mysqld.pid --basedir=/usr --user=mysql --skip-grant-tables&

3.添加静态路由

route add -host 192.168.166.166 gw 192.168.137.101

注意:host是伪装的客户端IP,gw是辅助服务器的IP

 技术分享图片

3.辅助服务器运行intercept

/usr/local/intercept/sbin/intercept -i eth2 -F ‘tcp and src port 3306‘ -d

 技术分享图片

 

4.模拟生产服务器离线回放

1.将生产服务器上抓取的网络包文件拷贝到模拟生产服务器/tmp/offline.pcap

2.运行tcpcopy解析离线网络包,转发网络包到测试目标服务器

/usr/local/tcpcopy/sbin/tcpcopy -i /tmp/offline.pcap -x 3306-192.168.137.102:3306 -s 192.168.137.101 -c 192.168.166.166 -n 1

技术分享图片

运行 tcpcopy 客户端,有几种可选方式:

#全流量复制

/usr/local/tcpcopy/sbin/tcpcopy -i /tmp/offline.pcap -x 3306-192.168.137.102:3306 -s 192.168.137.101 -c 192.168.166.166 –d

#复制20%流量

/usr/local/tcpcopy/sbin/tcpcopy -i /tmp/offline.pcap -x 3306-192.168.137.102:3306 -s 192.168.137.101 -c 192.168.166.166 –r 20 -d

#放大2倍流量

/usr/local/tcpcopy/sbin/tcpcopy -i /tmp/offline.pcap -x 3306-192.168.137.102:3306 -s 192.168.137.101 -c 192.168.166.166 –n 2 -d

5 . 监控回放情况

通过开启performance_schema.events_statements_history_long功能,可以看到回放的情况

update performance_schema.setup_consumers set ENABLED=‘YES‘ where NAME=‘events_statements_history_long‘;

select * from performance_schema.events_statements_history_long limit 10G

 技术分享图片

四.碰到的问题

1.生产环境抓包时,对于短连接,可以抓到mysql的登录信息,能正常回放,对于长连接来说,由于缺少第一次认证登录校验信息,不能正常回放,可以等待随着新连接的建立,完整的session越来越多,流量会逐步增多。

2.通过重启线上业务,kill长连接,让连接重新建立起来,这种一般不推荐。

以上是关于原创MySQL Replay线上流量压测工具的主要内容,如果未能解决你的问题,请参考以下文章

测试理论 | 性能测试

jmeter安装配置教程及使用

春节保卫战:腾讯百万 QPS 线上环境云压测方案解析

记一次线上压测Dubbo线程池队列满的问题

利用fiddler+nginx模拟流量识别与转发

13个QA带你了解线上压测的知识点