lamp架构之redis：redis和mysql的整合

Posted 2023-03-11 weixin_44717560

redis和mysql的整合

• 一、redis结合mysql
• • 1.redis和mysql的基础概念
  • 2.redis和mysql的区别总结
  • 3.为什么要作缓存
  • 4.redis作为缓存
• 二、环境部署
• 三、mysql+redis部署
• 四、配置 gearman 实现redis和mysql的数据同步
• • 1.redis和mysql结合后出现的问题
  • 2.解决方案
  • 3.gearman同步效果测试

一、redis结合mysql

1.redis和mysql的基础概念

mysql：数据放在磁盘

是关系型数据库，主要用于存放持久化数据，

redis：数据放在内存 AOF：增量更新 RDB：覆盖

是NOSQL，非关系型数据库。

2.redis和mysql的区别总结

（1）类型上

从类型上来说，mysql是关系型数据库，redis是缓存数据库

（2）作用上

mysql用于持久化的存储数据到硬盘，功能强大，但是速度较慢

redis用于存储使用较为频繁的数据到缓存中，读取速度快

3.为什么要作缓存

当网站的处理和访问量非常大的时候，我们的数据库的压力就变大了，数据库的连接池，数据库同时处理数据的能力就会受到很大的挑战，一旦数据库承受了其最大承受能力，网站的数据处理效率就会大打折扣。此时就要使用高并发处理、负载均衡和分布式数据库，而这些技术既花费人力，又花费资金。

4.redis作为缓存

Redis其实就是说把表中经常访问的记录放在了Redis中，然后用户查询时先去查询Redis再去查询MySQL，确实实现了读写分离，也就是Redis只做读操作。由于缓存在内存中，所以查询会很快。

由上图可以看出， 用户端访问时，请求直接发送给redis，假如redis有数据就可以直接返给用户，假如redis没有，他就会调取数据库上的数据，用户写入的时候是直接写到了数据库上。

二、环境部署

我们主要解决的就是redis和mysql之间的数据同步的问题。

此时我们要模拟一个业务，读的时候从redis里面读，写的时候往mysql里面写，redis中没有的时候，我们要从数据库中进行加载。

step1：将server2作为redis端

先检查2是不是master ，如果是就可以了，如果不是，按下面的步骤进行操作：

server2： vim /etc/redis/6379.conf

注销replicaof 172.25.73.1 6379

加入server2本来就是master，这部忽略

redis-cli

info查看server2是否为master

step2： server4上进行操作，将server4作为数据库端

yum install -y mariadb-server.x86_64

systemctl start mariadb.service

step3： server3是作为lamp架构，在这里一定要注意选取一个干净的server节点去重新安装lamp架构，因为之前安装server1的lamp架构修改过好多参数，直接会影响实验结果

server3安装nginx：
 
yum install gcc pcre-devel openssl-devel -y 安装依赖性软件
 
[root@server3 nginx-1.20.2]# ./configure --with-http_ssl_module
 
[root@server3 nginx-1.20.2]# make && make install
 
安装好之后，创建软连接
 
ln -s /usr/local/nginx/sbin/nginx /usr/local/bin/
 
vim /usr/local/nginx/conf/nginx.conf 如下图

yum install gcc pcre-devel openssl-devel -y 安装依赖性软件

vim /usr/local/nginx/conf/nginx.conf

server3安装php
 
yum install -y php-fpm-5.4.16-46.el7.x86_64.rpm
 
yum install -y php
 
yum install -y php-mysql
 
yum install -y php-pecl-redis-2.2.8-1.el7.x86_64.rpm php-pecl-igbinary-1.2.1-1.el7.x86_64.rpm
 
所有的软件安装结束后
 
php -m |grep mysql
 
php -m |grep redis 查看安装是否成功
 
systemctl start php-fpm 开启php

三、mysql+redis部署

server3上先安排一个默认发布目录

cp test.php /usr/local/nginx/html/
vim /usr/local/nginx/html/test.php

server4:

登陆数据库。先在数据库新建用户，授予远程登录权力并修改密码

grant all on test.* to redis@’%’ identified by ‘westos’;

导入数据库的备份文件

mysql < test.sql

server4登陆数据库查看导入效果

mysql

use test

show tables

select * from test;


此时由于是第一次读取，所以读取的是数据库的内容，刷新一次，redis中就有了缓存，此时由mysql变成了redis，这也就是为什么redis快的原因。

四、配置 gearman 实现redis和mysql的数据同步

1.redis和mysql结合后出现的问题

上面的实验做完我们会发现一个问题：
我们在配置文中可以看到，客户端访问的数据的时候，是先访问redis，如果在redis中访问不到，再去访问mysql。
那么，如果当数据库里的信息变更之后，redis中的数据没有和mysql保持同步，这个怎么办？

下图可以看出，在server4（mysql端）修改数据以后，redis上的数据还是原来的数据，并且网站页面上的数据也不会更新：

2.解决方案

解决方式：我们需要通过异步的方式来进行修改。
当然，你在redis中 把id=1的内容删掉，然后重新读取mysql中的内容就好了，但是在生产环境中不现实，并且也失去了redis的意义。
 
这个时候我们需要改动一下数据库的问题，安装点外部的函数，但是会对数据库造成侵入性，对其安全性造成问题。现在我们会选择一些侵入性较小的方案来进行设计，比如阿里的canal，它是直接把自己伪装成mysql一个slave，完全通过mysql的主从复制来同步数据，对我们的数据主库是没有任何侵入性的，这点非常不错，如下图红框所示。
 
但是刚刚说的canal只是完成了蓝框中的内容，他只是完成了把数据从mysql中拿过来，至于复制过来以后怎么办，是需要你自己解决。

我们采用的解决方式：把redis作为mysql的一种缓存的方式，这种方式比较成熟了，数据量适中的时候，效果还不错，

但当数据量过大时，在mysql和redis之间需要加一个分布式消息队列，就是mysql里面的数据更新后，不要直接由mysql的plugin往redis里面放，没有做解耦，很容易出问题，所以中间最好有一个分布式的分发框架来做解耦这个事情，

也就是说，不能直接就是redis同步mysql，缺乏解耦性也不行，万一中间的链路出现问题呢？这样就太不安全了。

具体操作如下：

1、数据库端的操作

step1： 首先要在server4上安装utf函数

server4：解压

yum install -y unzip

unzip lib_mysqludf_json-master.zip

step2：安装软件
server4:安装gcc用于编译，安装maria插件

yum install -y gcc
yum install -y mariadb-devel

step3：
gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c

lib_mysqludf_json.c的意思是转换数据格式（因为mysql和redis 的数据结构不一样），将数据转换为json格式，这种格式的数据是可以跨平台的。

登陆mysql，

show global variables like ‘plugin_dir’; 查看一下数据库存放模块的目录，后边的命令需要

退出mysql。

cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/

直接把影射文件扔到数据目录下，这样数据库能读到

ls /usr/lib64/mysql/plugin/ 查看一下复制是否成功

step4：
server4上，登陆数据库，注册udf函数：

CREATE FUNCTION json_object RETURNS STRING SONAME ‘lib_mysqludf_json.so’;

select * from mysql.func; 查看函数

step5：

server4:安装gearman服务

得到三个rpm包：libgearman-devel-1.1.12-18.el7.x86_64.rpm libgearman-1.1.12-18.el7.x86_64.rpm libevent-devel-2.0.21-4.el7.x86_64.rpm

serve4：

先安装依赖性软件再configure

yum install -y libgearman-devel-1.1.12-18.el7.x86_64.rpm libgearman-1.1.12-18.el7.x86_64.rpm libevent-devel-2.0.21-4.el7.x86_64.rpm

step6：

tar zxf gearman-mysql-udf-0.6.tar.gz
cd gearman-mysql-udf-0.6/

./configure --libdir=/usr/lib64/mysql/plugin/

make && make install

安装完毕！

sep7：在server4上登陆数据库， 注册 UDF 函数

mysql> CREATE FUNCTION gman_do_background RETURNS STRING SONAME
‘libgearman_mysql_udf.so’; （用来指定发送给谁）
mysql> CREATE FUNCTION gman_servers_set RETURNS STRING SONAME
‘libgearman_mysql_udf.so’;（用来指定gearman server是谁）

select * from mysql.func; 查看函数

step8：
接下来选择一个节点作为gearman的服务器，在这里选择server3

server3: 安装包均在rhel7目录下

yum install -y gearmand-1.1.12-18.el7.x86_64.rpm libgearman-1.1.12-18.el7.x86_64.rpm

systemctl start gearmand.service 安装成功后开启服务

netstat -antlp 查看端口，一会编辑配置文件要用到


step9：
在server4上指定 gearman 的服务信息

SELECT gman_servers_set(‘172.25.73.3:4730’);

step10：
server4：

创建触发器，通过触发器来调用之前创建的函数，在这里已经有了一个写好的test.sql，可以直接使用

vim test.sql 只留下原来加了注释那部分

step11：
server4：

mysql < test.sql 导入触发器命令

mysql> SHOW TRIGGERS FROM test; 查看触发器

此时此刻，数据库端要做的事情就结束了。

2、gearman服务器端的操作
上面的步骤，我们创建了三个函数，创建了触发器，了解到了只要对数据库中的表做了修改，那么触发器就会生效，并将转换格式后的数据发送到【172.25.254.3:4730】，然后由这个gearmand的后台帮你调度，这个后台相当于一个分布式的分发框架，

那么数据到了server3上需要做什么呢？

server3相当于数据接收端，接收到数据以后，他要向下分发，分发给谁？

step1：
把worker文件配置好

cp worker.php /usr/local/
vim /usr/local/worker.php

修改对应行的redis节点信息，redis安装在那个节点就写那个

step2：
此时在server3上查询 php -m |grep gearman

发现依然没有，需要再安装一个插件。

yum install -y php-pecl-gearman-1.1.2-1.el7.x86_64.rpm

systemctl reload php-fpm.service 重新平滑加载服务

step3：

nohup php /usr/local/worker.php & 后边按一下回车。打入后台 让他一直处于监听状态。当4730端口i接收到数据后，会分发给我们的消费端，消费端然后去redis做一个同步。
ps ax 查看

3.gearman同步效果测试

在mysql端修改数据，在resis端已经能看出数据已经做出变更：



所以，我们可以看出，业务首先访问的就是redis，redis相当于mysql的一个缓冲，当我们有数据变更，直接mysql中更新，更新后的数据通过UDF函数，配合触发器把数据发送给4730端口（server3上），由他再分发给我们的worker，