Redis - 缓存性数据库

Posted 2021-02-28 zhaoganggang

Redis 特性

特性一:速度快 - 快的原因就是内存
数据存在内存中

特性二

持久化 - 断电不丢数据
Redis所有数据保存在内存中,对数据的跟新将异步地保存在磁盘上

 redis 支持两种持久化方式，一种是 Snapshotting（快照）也是默认方式，另一种是 Append-only file（缩写 aof）的方式。

Redis 特性三

特性三 - 多数据结构

Redis 特性四

支持多种客户端语言

Redis 特性五

功能丰富

安装redis

方式一

通过yum工具安装redis

yum install  redis -y

方式二

编译安装redis

下载redis安装包

wget http://download.redis.io/releases/redis-4.0.10.tar.gz

解压缩redis安装包

tar -zxvf redis-4.0.10.tar.gz

进入到解压后的文件夹目录中进行编译

make && make install

编辑redis的配置文件redis.conf，让其支持更安全的启动方式‘

requirepass 123456#打开redis密码的参数 
protected-mode yes #开启安全模式
bind 0.0.0.0 #修改redis的默认绑定地址
port 6800 #修改redis的默认启动端口

过滤出非空行，注释行的内容，重定向写入到一个文件中

grep  -v "^$"  redis.conf |grep  -v "^#"  > new_redis.conf

在新配置文件结尾加上后台启动参数

daemonize  yes

启动redis服务端

启动时指定加载写好的配置文件

redis-server new_redis.conf 

验证redis是否启动

ps -ef|grep redis 

指定密码登录redis

redis-cli -p 6800

测试

127.0.0.1:6800> ping
(error) NOAUTH Authentication required. 
127.0.0.1:6800> auth 123456
OK
127.0.0.1:6800> ping
PONG

基础命令

keys *       查看所有key
type key     查看key类型
expire key seconds    过期时间
ttl key      查看key过期剩余时间，-2表示key已经不存在了
persist      取消key的过期时间，-1表示key存在，没有过期时间

exists key   判断key存在  存在返回1  否则0
del keys     删除key  可以删除多个
dbsize       计算key的数量

config get requirepass 查看redis是否设置密码
config set requirepass “xx” 为redis设置密码

redis的五大数据类型

字符串（strings）

set 　 设置key 
	>set v1 a	
get    获取key
	>get v1
append 追加string
	>append v1 b	
mset   设置多个键值对
	>mset v2 a v3 b
mget   获取多个键值对
	>mget v1 v2 v3
del    删除key
	>del v1
incr   递增+1
	>set v4 =1
	>incr v4
decr   递减-1
	>decr v4

列表（lists）

lpush       从列表左边插
	>lpush v1 1 2
rpush       从列表右边插
	>rpush v1 3 4 
lrange      获取一定长度的元素
	>lrange v1 0 -1
ltrim       截取一定长度列表
	>ltrim v1 0 -1
lpop        删除最左边一个元素
	>lpop v1
rpop        删除最右边一个元素
	>rpop v1
lpushx/rpushx   key存在则添加值，不存在不处理

集合（sets）

sadd/srem   添加/删除 元素
	>sadd v1 1 2 3 4
	>sadd v2 3 4 5 6
sismember   判断是否为set的一个元素
	>sismember v1 2
smembers    返回集合所有的成员
sdiff       返回一个集合和其他集合的差异
	>sdiff v1 v2
sinter      返回几个集合的交集
	>sinter v1 v2 
sunion      返回几个集合的并集
	>sunion v1 v2

有序集合（sorted sets）

zadd/zrem  添加/删除
	>zadd v1 10 a
	>zadd v1 10 b
zrange     从小到大查看
	>zrange v1 0 -1
zrevrange  从大到小查看
	>zrevrange v1 0 -1

散列（hashes）

hset    设置散列值
	>hset v1 age 10
	>hset v1 sex 0
hget    获取散列值
	>hget v1 age
hmset   设置多对散列值
	>hmset v2 age 15 sex 1
hmget   获取多对散列值
	>hmget v2 age sex
hsetnx  如果散列已经存在，则不设置（防止覆盖ke
hkeys   返回所有keys
	>hkeys v2
hvals   返回所有values
	>hvals v2
hlen    返回散列包含域（field）的数量
	>hlen v2
hdel    删除散列指定的域（field）
	>hdel v2 name age
hexists 判断是否存在
	>hexists v2 name

发布订阅

Redis 通过 PUBLISH（发布者）、 SUBSCRIBE （订阅者）等命令实现了订阅与发布模式。发布者在指定频道发布消息，订阅者通过订阅这个频道来获取消息。一个发布者可以对应多个订阅者

#发布者
>publish pd1 abc
>publish pd2 123

#订阅者1
>subscribe pd1 pd2
>pd1
>abc
>pd2
>123

#订阅者2
>subscribe pd2
>pd2
>123

模糊匹配频道

#发布者
>publish pd1 abc
>publish pd2 123

#订阅者
>psubscribe pd*
>abc
>123

持久化存储
Redis是一种内存型数据库，一旦服务器进程退出，数据库的数据就会丢失，为了解决这个问题，Redis提供了两种持久化的方案，将内存中的数据保存到磁盘中，避免数据的丢失。

RDB持久化
redis提供了RDB持久化的功能，这个功能可以将redis在内存中的的状态保存到硬盘中，它可以手动执行。也可以再redis.conf中配置，定期执行。
RDB持久化产生的RDB文件是一个经过压缩的二进制文件，这个文件被保存在硬盘中，redis可以通过这个文件还原数据库当时的状态。

使用rdb持久化

1.准备配置文件

touch rdbredis.conf 

写入以下内容

daemonize yes   #后台运行 
port 6379 	    #指定端口 
logfile /data/6379/redis.log   #指定日志路径
dir /data/6379	   #redis的数据文件，会存放在这里
dbfilename  dbmp.rdb   #开启rdb持久化，指定持久化文件名
bind 0.0.0.0
save 900 1 	 #定义触发rdb持久化的时间机制，也可以手动使用save进行持久化
save 300 10
save 60  10000  

2.创建数据文件夹

mkdir  -p /data/6379

3.指定rdb文件启动redis

redis-server  rdbredis.conf  

AOF持久化
记录服务器执行的所有变更操作命令（例如set del等），并在服务器启动时，通过重新执行这些命令来还原数据集。AOF 文件中的命令全部以redis协议的格式保存，新命令追加到文件末尾。
优点：最大程序保证数据不丢
缺点：日志记录非常大

使用aof持久化

1.准备配置文件

touch aofredis.conf 

写入以下内容

daemonize yes #后台运行
port 6379 # 指定端口
logfile /data/6379/redis.log # 指定日志路径
dir /data/6379 #redis的数据文件，会存放在这里
appendonly yes  		 #开启aof的俩参数
appendfsync everysec     #aof的持久化机制 
# 参数
	#always    总是修改类的操作
    #everysec  每秒做一次持久化
	#no        依赖于系统自带的缓存大小机制

2.创建数据文件夹

mkdir  -p /data/6379

3.指定aof文件启动redis

redis-server aofredis.conf 

RDB切换AOF

在redis4.0中，通过config set命令，达到不重启redis服务，从RDB持久化切换为AOF。在进行切换之前注意文件的备份。

config set appendonly yes # #开启AOF功能
config set save ""  #关闭RDB功能

此时RDB已经正确切换AOF，但它是临时生效，注意还得修改redis.conf添加AOF设置，不然重启后，通过config set的配置将丢失

主从复制
redis的主从复制基于redis的多实例完成，基于不同的端口，运行独立的数据库

主库具有读写的权限，从库只有读的权限

使用主从复制

1.准备三个库的配置文件

主库配置文件 masterreids.conf

port 6380
daemonize yes
pidfile /data/6380/redis.pid
loglevel notice
logfile "/data/6380/redis.log"
dbfilename dump.rdb
dir /data/6380
protected-mode no

从库1配置文件 slaveredis1.conf

port 6381
daemonize yes
pidfile /data/6381/redis.pid
loglevel notice
logfile "/data/6380/redis.log"
dbfilename dump.rdb
dir /data/6381
protected-mode no

从库2配置文件 slaveredis2.conf

port 6382
daemonize yes
pidfile /data/6382/redis.pid
loglevel notice
logfile "/data/6380/redis.log"
dbfilename dump.rdb
dir /data/6382
protected-mode no

2.创建三个数据库的数据文件夹

mkdir -p  /data/{6380,6381,6382}

3.分别启动三个数据库实例

redis-server masterredis.conf 
redis-server slaveredis1.conf
redis-server slaveredis2.conf

4.使用命令建立主从复制关系

redis-cli -p 6381  slaveof 127.0.0.1 6380 
redis-cli -p 6382  slaveof 127.0.0.1 6380 

5.查看库信息

redis-cli -p 6380 info replication 
redis-cli -p 6381 info replication 
redis-cli -p 6382 info replication

主库：

# Replication
role:master # 身份
connected_slaves:2 # 两个连接者
slave0:ip=127.0.0.1,port=6381,state=online,offset=14,lag=0
slave1:ip=127.0.0.1,port=6382,state=online,offset=14,lag=1

从库：

role:slave # 身份
master_host:127.0.0.1
master_port:6380
master_link_status:up # 连接状态

6.当主库由于某种原因挂掉后，手动将从库切换为主库，继续主从复制

# 剔除自己的从库身份
127.0.0.1:6381> slaveof no one

7.再次启动一个新的从库，以6381为主库即可

补充：除了通过指令建立主库和从库的关系外还可以在配置文件中直接指定为从库

port 6381
daemonize yes
pidfile /data/6381/redis.pid
loglevel notice
logfile "/data/6381/redis.log"
dbfilename dump.rdb
dir /data/6381
protected-mode no
slaveof  127.0.0.1 6380  # 指定为从库

哨兵配置
Redis-Sentinel是redis官方推荐的高可用性解决方案，当用redis作master-slave的高可用时，如果master本身宕机，redis本身或者客户端都没有实现主从切换的功能。而redis-sentinel就是一个独立运行的进程，用于监控多个master-slave集群，自动发现master宕机，进行自动切换slave > master。

sentinel主要功能

1.持续监视redis运行状态，如果节点不可达就会对节点进行下线标识

2.如果被标识的是主节点，sentinel就会和其他的sentinel节点“协商”，如果其他节点也认为主节点不可达，就会选举一个sentinel节点来完成自动故障转义

3.在master-slave进行切换后，master_redis.conf、slave_redis.conf和sentinel.conf的内容都会发生改变，即master_redis.conf中会多一行slaveof的配置，sentinel.conf的监控目标会随之调换

使用redis哨兵

1.准备三个库的配置文件

主库配置文件 masterreids.conf

port 6380
daemonize yes
pidfile /data/6380/redis.pid
loglevel notice
logfile "/data/6380/redis.log"
dbfilename dump.rdb
dir /data/6380
protected-mode no

从库1配置文件 slaveredis1.conf

port 6381
daemonize yes
pidfile /data/6381/redis.pid
loglevel notice
logfile "/data/6380/redis.log"
dbfilename dump.rdb
dir /data/6381
protected-mode no
slaveof  127.0.0.1 6380  

从库2配置文件 slaveredis2.conf

port 6382
daemonize yes
pidfile /data/6382/redis.pid
loglevel notice
logfile "/data/6380/redis.log"
dbfilename dump.rdb
dir /data/6382
protected-mode no
slaveof  127.0.0.1 6380 

2.创建三个数据库的数据文件夹

mkdir -p  /data/{6380,6381,6382}

3.分别启动三个数据库实例

redis-server masterredis.conf 
redis-server slaveredis1.conf
redis-server slaveredis2.conf

4.准备三个哨兵(sentinel)的配置文件，这三个配置文件，仅仅是端口的不同，默认端口是26379

sentinel1.conf

port 26379  # 端口
dir /var/redis/data/ # 数据文件
logfile "26379.log" # 日志
sentinel monitor mymaster 127.0.0.1  6380  2
// 当前Sentinel节点监控 192.168.119.10:6380 这个主节点
// 2代表判断主节点失败至少需要2个Sentinel节点节点同意
// mymaster是主节点的别名
sentinel down-after-milliseconds mymaster 30000
//每个Sentinel节点都要定期PING命令来判断Redis数据节点和其余Sentinel节点是否可达，如果超过30000毫秒（30s）没有回复，则判定不可达
sentinel parallel-syncs mymaster 1
//当Sentinel节点集合对主节点故障判定达成一致时，Sentinel领导者节点会做故障转移操作，选出新的主节点，
原来的从节点会向新的主节点发起复制操作，限制每次向新的主节点发起复制操作的从节点个数为1
sentinel failover-timeout mymaster 180000
//故障转移超时时间为180000毫秒
daemonize yes 
//后台运行哨兵 

替换 端口生成另外两个配置文件

sed ‘s/26379/26380/g‘   sentinel1.conf  > sentinel2.conf
sed ‘s/26379/26381/g‘   sentinel1.conf  > sentinel3.conf

5.创建数据文件夹

mkdir -p /var/reids/data/

6.分别启动三个哨兵进程

redis-sentinel sentinel1.conf
redis-sentinel sentinel2.conf
redis-sentinel sentinel3.conf

[redis-4.0.10]# ps -ef |grep redis
root     15754     1  0 Mar16 ?        00:00:40 redis-server *:6380
root     15764     1  0 Mar16 ?        00:00:39 redis-server *:6381
root     15771     1  0 Mar16 ?        00:00:39 redis-server *:6382
root     16988     1  0 16:09 ?        00:00:00 redis-sentinel *:26379 [sentinel]
root     16999     1  0 16:10 ?        00:00:00 redis-sentinel *:26380 [sentinel]
root     17004     1  0 16:10 ?        00:00:00 redis-sentinel *:26381 [sentinel]

当主库挂掉30秒后哨兵会将其中一个从库变为主库，并将这个库的配置文件修改(删掉slaveof 配置)，然后会让另一个从库变为自己的从库。当挂掉的这个库重启，会在一段时间内将这个库自动变为从库。

redis集群
redis3.0集群采用P2P模式，完全去中心化，将redis所有的key分成了16384个槽位，每个redis实例负责一部分slot，集群中的所有信息通过节点数据交换而更新。redis实例集群主要思想是将redis数据的key进行散列，通过hash函数特定的key会映射到指定的redis节点上

数据分布理论

分布式数据库首要解决把整个数据集按照分区规则映射到多个节点的问题，即把数据集划分到多个节点上，每个节点负责整个数据的一个子集。

顺序分区

哈希分区

例如按照节点取余的方式，分三个节点，节点取余的优点是简单，客户端分片直接是哈希+取余

1~100的数据对3取余，可以分为三类

• 余数为0
• 余数为1
• 余数为2

一致性哈希

客户端进行分片，哈希+顺时针取余

虚拟槽分区

Redis Cluster采用虚拟槽分区

虚拟槽分区巧妙地使用了哈希空间，使用分散度良好的哈希函数把所有的数据映射到一个固定范围内的整数集合，整数定义为槽（slot）。
Redis Cluster槽的范围是0 ～ 16383。
槽是集群内数据管理和迁移的基本单位。采用大范围的槽的主要目的是为了方便数据的拆分和集群的扩展，
每个节点负责一定数量的槽。

搭建redis cluster

搭建三主三从的数据库主从集群

1.准备6个数据库节点（7000~7005 ）各个节点仅是端口的不同

# redis-7000.conf 
port 7000
daemonize yes
dir "/opt/redis/data"
logfile "7000.log"
dbfilename "dump-7000.rdb"
cluster-enabled yes   #开启集群模式
cluster-config-file nodes-7000.conf　　#集群内部的配置文件

sed ‘s/7000/7001/g‘  redis-7000.conf > redis-7001.conf 
sed ‘s/7000/7002/g‘  redis-7000.conf > redis-7002.conf 
sed ‘s/7000/7003/g‘  redis-7000.conf > redis-7003.conf 
sed ‘s/7000/7005/g‘  redis-7000.conf > redis-7005.conf 

2.分别启动6个redis节点

redis-server redis-7000.conf
redis-server redis-7001.conf
redis-server redis-7002.conf
redis-server redis-7003.conf
redis-server redis-7004.conf
redis-server redis-7005.conf

3.配置ruby环境，一键创建redis机群slot槽位分配

安装ruby解释器

yum install ruby -y  

下载ruby操作redis的模块

wget http://rubygems.org/downloads/redis-3.3.0.gem      
gem install -l redis-3.3.0.gem

先找到ruby的绝对路径

[opt]# find / -name  redis-trib.rb 
/opt/redis-4.0.10/src/redis-trib.rb

一键开启redis集群槽位分配

/opt/redis-4.0.10/src/redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

[root@izhk773c62kz06z redis-4.0.10]# /opt/redis-4.0.10/src/redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
127.0.0.1:7000
127.0.0.1:7001
127.0.0.1:7002
Adding replica 127.0.0.1:7004 to 127.0.0.1:7000
Adding replica 127.0.0.1:7005 to 127.0.0.1:7001
Adding replica 127.0.0.1:7003 to 127.0.0.1:7002
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: 1b1d442426ade3249d833f910531579bf70a6209 127.0.0.1:7000
   slots:0-5460 (5461 slots) master
M: 1429bfd7306b2bec90b86a5f4e3c0c4105f286fc 127.0.0.1:7001
   slots:5461-10922 (5462 slots) master
M: 285d0ad96a9de180786c3ea1b682aeeab727eb8b 127.0.0.1:7002
   slots:10923-16383 (5461 slots) master
S: 6af27019c3230081b0b492ffacb29a4548b9db58 127.0.0.1:7003
   replicates 285d0ad96a9de180786c3ea1b682aeeab727eb8b
S: 29b1640bab990b358291b7e547bc6b4beefd74f4 127.0.0.1:7004
   replicates 1b1d442426ade3249d833f910531579bf70a6209
S: 92b567379ee3e5c7488a2dc0a6984d4358d01e33 127.0.0.1:7005
   replicates 1429bfd7306b2bec90b86a5f4e3c0c4105f286fc
Can I set the above configuration? (type ‘yes‘ to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join..
>>> Performing Cluster Check (using node 127.0.0.1:7000)
M: 1b1d442426ade3249d833f910531579bf70a6209 127.0.0.1:7000
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
S: 92b567379ee3e5c7488a2dc0a6984d4358d01e33 127.0.0.1:7005
   slots: (0 slots) slave
   replicates 1429bfd7306b2bec90b86a5f4e3c0c4105f286fc
M: 1429bfd7306b2bec90b86a5f4e3c0c4105f286fc 127.0.0.1:7001
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
S: 29b1640bab990b358291b7e547bc6b4beefd74f4 127.0.0.1:7004
   slots: (0 slots) slave
   replicates 1b1d442426ade3249d833f910531579bf70a6209
S: 6af27019c3230081b0b492ffacb29a4548b9db58 127.0.0.1:7003
   slots: (0 slots) slave
   replicates 285d0ad96a9de180786c3ea1b682aeeab727eb8b
M: 285d0ad96a9de180786c3ea1b682aeeab727eb8b 127.0.0.1:7002
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

4.以集群模式登陆redis-cluster

redis-cli -p 7000 -c

5.向集群中写入数据，查看数据重定向

[root@izhk773c62kz06z redis-4.0.10]# redis-cli -p 7000 -c
127.0.0.1:7000> keys *
(empty list or set)
127.0.0.1:7000> set v1 1
OK
127.0.0.1:7000> set v2 2
-> Redirected to slot [13550] located at 127.0.0.1:7002
OK
127.0.0.1:7002> set v5 3
-> Redirected to slot [1033] located at 127.0.0.1:7000
OK
127.0.0.1:7000> get v5
"3"
127.0.0.1:7000> get v2
-> Redirected to slot [13550] located at 127.0.0.1:7002
"2"
127.0.0.1:7002> 

django使用redis

安装django-redis模块

pip3 install django-redis

在settings中配置redis配置

CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": "redis://127.0.0.1:6379",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
            "CONNECTION_POOL_KWARGS": {"max_connections": 100},
            "PASSWORD": "12345",
        }
    }
}

视图中使用

from django_redis import get_redis_connection
conn = get_redis_connection("default")

使用redis做缓存

全站缓存

# 中间件配置
‘django.middleware.cache.UpdateCacheMiddleware‘,
‘django.middleware.cache.FetchFromCacheMiddleware‘,

单视图缓存

from django.views.decorators.cache import cache_page
@cache_page(60 * 15)
def my_view(request):
   ...

url缓存

from django.views.decorators.cache import cache_page

urlpatterns = [
	url(r‘^index/$‘, cache_page(60 * 15)(my_view)),
]

页面局部缓存

{% load cache %}
{% cache 5000 缓存key %}
    缓存内容
{% endcache %}

使用Redis做session

# 配置session存储
SESSION_ENGINE = "django.contrib.sessions.backends.cache"
SESSION_CACHE_ALIAS = "default"