键值存储之redis

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了键值存储之redis相关的知识,希望对你有一定的参考价值。

 mysql通过Memcached将热点数据加载到cache,加速访问,但随着业务数据量的不断增加,和访问量的持续增长会遇到很多问题:

  1.MySQL需要不断进行拆库拆表,Memcached也需不断跟着扩容,扩容和维护工作占据大量开发时间。

  2.MemcachedMySQL数据库数据一致性问题。

  3.Memcached数据命中率低或down机,大量访问直接穿透到DBMySQL无法支撑。

  4.跨机房cache同步问题。

如果简单地比较RedisMemcached的区别,redis会有如下优点:

 

1  Redis不仅仅支持简单的k/v类型的数据,同时还提供listsetzsethash等数据结构的存储。

 

2  Redis支持数据的备份,即master-slave模式的数据备份。

 

3  Redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用。

下面简单的对redis进行实验,参考“www.runoob.com/redis”

 

安装:

#tar zxf redis-3.0.2.tar.gz

#cd redis-3.0.2

#yum install jemalloc-3.6.0-1.el6 jemalloc-devel-3.6.0-1.el6 gcc -y  //安装插件

#make && make install

#cd utils/ 

#./install_server_sh   //配置redis,选择默认即可

#service redis_6379 start   //启动redis服务

#redis-cli     //客户端命令行工具,可以对数据库和各种数据类型进行操作

set myKey abc   //设置键值对

get myKey      //取出键值对

config get loglevel  //查看配置项loglevel 

 技术分享


将redis作为mysql 的缓存服务器


安装lnmp环境

#yum install -y nginx-1.8.0.1.el6.ngx.x86_64.rpm php-5.3.3-38.el6.x86_64 php-cli-5.3.3-38.el6 php-common php-devel php-fpm php-gd php-mbstring php-mysql  php-pdo   //安装nginx,php,web上显示redis缓存的mysql数据。   

#vim /etc/php.ini

修改时区为亚洲上海

#vim /etc/php-fpm.d/www.conf 

  设置uergroupnginx

#/etc/init.d/php-fpm start      //启动phpfastcgi

#cd /usr/share/nginx/html

#vim index.php

<?php
        $redis = new Redis();
        $redis->connect(‘127.0.0.1‘,6379) or die ("could net connect redis server");
  #      $query = "select * from test limit 9";
        $query = "select * from test";
        for ($key = 1; $key < 10; $key++)
        {
                if (!$redis->get($key))
                {
                        $connect = mysql_connect(‘127.0.0.1‘,‘redis‘,‘westos‘);
                        mysql_select_db(test);
                        $result = mysql_query($query);
                        //如果没有找到$key,就将该查询sql的结果缓存到redis
                        while ($row = mysql_fetch_assoc($result))
                        {
                                $redis->set($row[‘id‘],$row[‘name‘]);
                        }
                        $myserver = ‘mysql‘;
                        break;
                }
                else
                {
                        $myserver = "redis";
                        $data[$key] = $redis->get($key);
                }
        }
 
        echo $myserver;
        echo "<br>";
        for ($key = 1; $key < 10; $key++)
        {
                echo "number is <b><font color=#FF0000>$key</font></b>";
 
                echo "<br>";
 
                echo "name is <b><font color=#FF0000>$data[$key]</font></b>";
 
                echo "<br>";
        }
?>


#vim /etc/nginx/conf.d/default.conf

   将fastcgi_param 后面的/scripts改为/usr/share/nginx/html   //修改首页路径

   在locatin / 模块的index行添加index.php   //添加php首页

启动nginx服务


添加phpredis控件

#cd ~/redis

#unzip phpredis-master.zip

#cd phpredis-master

#phpize   //建立php扩展模块,生成configure文件

#./configure

#make && make install

#cd /etc/php.d

#cp mysql.ini redis.ini   //建立redis.ini

#vim redis.ini

内容为extension=redis.so

#/etc/init.d/php-fpm reload

#php -m | grep redis 

显示redis表示php添加redis插件成功

 技术分享


编辑测试用的数据库文件test.sql

 技术分享

  

#mysql<test.sql        //将test.sql导入mysql中

#mysql

 >use test

 >select * from test;

技术分享

 

 

 >grant all on test.* to [email protected] identified by redhat;  //mysql绑定redis

这时在web上能看到对应数据

 技术分享

 

#redis-cli

 >get 1

  test1

Web上的数据即为redis缓存的mysql的数据。



Gearman

 如果更新了 mysql,redis中仍然会有之前对应的 KEY,数据就不会更新,此时就会出现 mysql 和 redis 数据不一致的情况。所以接下来就要通过 mysql 触发器(gearman)将改变的数据同步到 redis 中。

一个Gearman请求的处理过程涉及三个角色:Client -> Job -> Worker

Client:请求的发起者,可以是 CPHPPerlMySQL UDF 等等。

Job:请求的调度者,用来负责协调把 Client 发出的请求转发给合适的 Worker

Worker:请求的处理者,可以是 CPHPPerl 等等。

下面要编写的 mysql 触发器,就相当于 Gearman 的客户端;

修改表,插入表就相当于直接下发任务;

通过 lib_mysqludf_json UDF 库函数将关系数据映射为 JSON 格式,然后在通过 gearman-mysql-udf 插件将任务加入到 Gearman 的任务队列中;

最后通过redis_worker.php,也就是 Gearman 的 worker 端来完成 redis 数据库的更新。

注:适合mysql7之前的版本。

 

#yum install gearmand libgearman -y

#/etc/init.d/gearmand start    //启动gearman服务

Netsat可看出它是4730端口


集成gearmanphp

#tar zxf gearman-1.1.2.tgz

#cd gearman-1.1.2

#phpize      

#yum install libevent-devel libevent-doc libevent-headers libgearman-devel   //安装相应组件

#./configure

#make && make install

#cd /etc/php.d

#cp redis.ini gearman.ini   //建立gearman.ini

#vim gearman.ini

内容为extension=gearman.so

#/etc/init.d/php-fpm reload     //重载phpfastcgi

#php -m | grep gearman

显示gearman表示gearman以集成到php

安装lib_mysqludf_json

#yum install mysql-devel

#unzip lib_mysqludf_json-master.zip

# cd lib_mysqludf_json-master

# gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so

lib_mysqludf_json.c

查看 mysql 的模块目录:

mysql> show global variables like ‘plugin_dir‘

技术分享

 

拷贝 lib_mysqludf_json.so 模块到mysql的plugin目录中

# cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/


注册 UDF 函数

mysql> CREATE FUNCTION json_object RETURNS STRING SONAME

‘lib_mysqludf_json.so‘;

查看函数

mysql> select * from mysql.func;

 技术分享

 

安装 gearman-mysql-udf

这个插件是用来管理调用 Gearman 的分布式的队列。(https://launchpad.net/gearman-mysql-udf)

# tar zxf gearman-mysql-udf-0.6.tar.gz

# cd gearman-mysql-udf-0.6

# ./configure --with-mysql=/usr/bin/mysql_config --libdir=/usr/lib64/mysql/plugin/

# make& make install

注册 UDF 函数

mysql> CREATE FUNCTION gman_do_background RETURNS STRING SONAME

‘libgearman_mysql_udf.so‘;

mysql> CREATE FUNCTION gman_servers_set RETURNS STRING SONAME

‘libgearman_mysql_udf.so‘;

查看函数

mysql> select * from mysql.func;

技术分享

 

指定 gearman 的服务信息

mysql> SELECT gman_servers_set(‘127.0.0.1:4730‘);

 技术分享

 

编写 mysql 触发器(根据实际情况编写)

# vim test.sql

use test;

DELIMITER $$

CREATE TRIGGER datatoredis AFTER UPDATE ON test FOR EACH ROW BEGIN

SET @RECV=gman_do_background(‘syncToRedis‘, json_object(NEW.id as `id`, NEW.name as `name`));

END$$

DELIMITER ;

# mysql < test.sql

查看触发器

mysql> SHOW TRIGGERS FROM test;

 技术分享

 

可以看到“syncToRedis” ,mysql中的数据同步到redis中。


编写 gearman 的 worker 

# vim worker.php

技术分享

 

文件中的$redis->set($work->id, $work->name);  这条语句就是将 id 作 KEY 

name 作 VALUE 分开存储,需要和前面写的 php 测试代码的存取一致。

# nohup php worker.php &     //后台运行 worker


更新 mysql 中的数据

mysql> update test set name=redhat‘ where id=1;

查看 redis

# redis-cli

   > get 1

  "redhat"

刷新测试页面数据同步

 技术分享

 

 

Redis的主从同步和“哨兵”机制


主从同步:

server4为主机,server5server6为从机,都安装redis

在主机上

#vim /etc/redis/6379.conf

  在slaveof <masterip>下面添加主机ip+端口

  Slaveof 172.25.0.4 6379

#/etc/init.d/redis_6379 restart

在从机上执行一样的操作

然后,在Server6

#redis-cli

  >get 1

技术分享

 

表明Server4redis数据同步到servef6


Redissentinel(哨兵)   

sentinel哨兵是集群管理工具,主要负责主从切换

Redis-SentinelRedis官方推荐的高可用性(HA)解决方案,当用RedisMaster-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端)都没有实现自动进行主备切换,而Redis-sentinel本身也是一个独立运行的进程,它能监控多个master-slave集群,发现master宕机后能进行自懂切换。

 Redis 的 Sentinel 系统用于管理多个 Redis 服务器(instance), 该系统执行以下三个任务:

·监控(Monitoring): Sentinel 会不断地检查你的主服务器和从服务器是否运作正常。

·提醒(Notification): 当被监控的某个 Redis 服务器出现问题时, Sentinel 可以通过 API 向管理员或者其他应用程序发送通知。

·自动故障迁移(Automatic failover): 当一个主服务器不能正常工作时, Sentinel 会开始一次自动故障迁移操作, 它会将失效主服务器的其中一个从服务器升级为新的主服务器, 并让失效主服务器的其他从服务器改为复制新的主服务器; 当客户端试图连接失效的主服务器时, 集群也会向客户端返回新主服务器的地址, 使得集群可以使用新主服务器代替失效服务器。

Redis Sentinel 是一个分布式系统, 你可以在一个架构中运行多个 Sentinel 进程(progress), 这些进程使用流言协议(gossip protocols)来接收关于主服务器是否下线的信息, 并使用投票协议(agreement protocols)来决定是否执行自动故障迁移, 以及选择哪个从服务器作为新的主服务器。

虽然 Redis Sentinel 释出为一个单独的可执行文件 redis-sentinel , 但实际上它只是一个运行在特殊模式下的 Redis 服务器, 你可以在启动一个普通 Redis 服务器时通过给定 --sentinel 选项来启动 Redis Sentinel 


server4上,

#cd redis-3.0.2

#vim sentinel.conf

 添加下列配置:

sentinel monitor mymaster 172.25.0.4 6379 2  (2表示2个从机)

sentinel down-after-milliseconds resque 10000      // 指定了 Sentinel 认为服务器已经断线所需的毫秒数(判定为主观下线SDOWN)。

 

sentinel parallel-syncs mymaster 1  //指定了在执行故障转移时, 最多可以有多少个从服务器同时对新的主服务器进行同步, 这个数字越小, 完成故障转移所需的时间就越长,但越大就意味着越多的从服务器因为复制而不可用。可以通过将这个值设为 来保证每次只有一个从服务器处于不能处理命令请求的状态。

sentinel failover-timeout mymaster 3000  //故障转移延迟,单位ms

这里有两个对服务器下线的判断:

主观下线(Subjectively Down, 简称 SDOWN)指的是单个 Sentinel 实例对服务器做出的下线判断。

客观下线(Objectively Down, 简称 ODOWN)指的是多个 Sentinel 实例在对同一个服务器做出 SDOWN 判断, 并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后, 得出的服务器下线判断。

 

客观下线条件只适用于主服务器: 对于任何其他类型的 Redis 实例, Sentinel 在将它们判断为下线前不需要进行协商, 所以从服务器或者其他 Sentinel 永远不会达到客观下线条件。

只要一个 Sentinel 发现某个主服务器进入了客观下线状态, 这个 Sentinel 就可能会被其他 Sentinel 推选出, 并对失效的主服务器执行自动故障迁移操作。

 

#grep -v ^# sentinel.conf  //显示内容,过滤开头的#

 技术分享

 

可看出sentinel的端口为26379.

  #grep -v ^# sentinel.conf > /etc/sentinel.conf    //生成etc下的sentinel.conf

将该文件发送给两从机,从机并都启动redis服务

 

在从机上

#/etc/init.d/redis_6379 start

#redis-sentinel /etc/sentinel.conf

#redis-cli -h 172.25.0.4 -p 26379 info      //显示redis详细信息

技术分享


停掉主机server4redis服务,sentinel会自动从从机中选出新的主机

技术分享 

 

由图可看出,sentinel通过投票机制选出server6为新的主机。


以上是关于键值存储之redis的主要内容,如果未能解决你的问题,请参考以下文章

细说Redis之 Redis的数据结构与应用场景

Redis系列之----Redis的数据类型及使用场景

Redis入门指南之简介

Java 之 Redis

NoSQL数据库之redis持久化存储

redis常用数据类型之hash