Linux-基础学习-Redis的进阶学习

Posted 柴犬砍柴

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Linux-基础学习-Redis的进阶学习相关的知识，希望对你有一定的参考价值。

1. redis的进阶操作

1.1 redis的订阅操作

image_thumb1_thumb

image_thumb3_thumb

发布订阅的命令

PUBLISH channel msg
    将信息 message 发送到指定的频道 channel

SUBSCRIBE channel [channel ...]
    订阅频道，可以同时订阅多个频道

UNSUBSCRIBE [channel ...]
    取消订阅指定的频道, 如果不指定频道，则会取消订阅所有频道
PSUBSCRIBE pattern [pattern ...]
    订阅一个或多个符合给定模式的频道，每个模式以 * 作为匹配符，比如 it* 匹配所    有以 it 开头的频道( it.news 、 it.blog 、 it.tweets 等等)， news.* 匹配所有    以 news. 开头的频道( news.it 、 news.global.today 等等)，诸如此类
PUNSUBSCRIBE [pattern [pattern ...]]
    退订指定的规则, 如果没有参数则会退订所有规则
PUBSUB subcommand [argument [argument ...]]
    查看订阅与发布系统状态
注意：使用发布订阅模式实现的消息队列，当有客户端订阅channel后只能收到后续发布到该频道的消息，之前发送的不会缓存，必须Provider和Consumer同时在线。

1554685023279_thumb1_thumb

1.2 redis持久化

redis是内存型的数据库

  • 数据断电消失
  • redis服务器挂掉消失
  • redis服务停掉之后消失

1.2.1 RDB持久化

redis提供了RDB(Redis DataBase)持久化的功能，这个功能可以将redis在内存中的的状态保存到硬盘中，它可以手动执行。也可以再redis.conf中配置，定期执行。RDB持久化产生的RDB文件是一个经过压缩的二进制文件，这个文件被保存在硬盘中，redis可以通过这个文件还原数据库当时的状态。

RDB(持久化)
内存数据保存到磁盘
在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）
优点：速度快，适合做备份，主从复制就是基于RDB持久化功能实现
rdb通过再redis中使用save命令触发 rdb
  1.基于内存的数据快照
  2.定期执行数据快照
  3.手动触发数据快照
rdb配置参数：

dir /data/6379/
dbfilename  dbmp.rdb

每过900秒 有1个操作就进行持久化

save 900秒  1个修改类的操作
save 300秒  10个操作
save 60秒  10000个操作

save  900 1
save 300 10
save 60  10000

redis持久化之RDB实践

（1）启动redis服务端,准备配置文件

port 6379
daemonize yes
dir /data/6379                   # 定义持久化文件存储位置
pidfile /data/6379/redis.pid     # redis进程pid文件
loglevel notice                  # 日志级别
logfile "/data/6379/redis.log"   # redis日志log文件
protected-mode yes               # 保护模式
dbfilename  dbmp.rdb             # rdb持久化文件
#bind 10.0.0.10  127.0.0.1       # redis绑定地址
#requirepass redhat              # redis登录密码
save 900 1                       # rdb机制 每900秒 有1个修改记录
save 300 10                      # 每300秒        10个修改记录
save 60 10000                    # 每60秒内        10000修改记录

（2）启动redis服务端

（3）登录redis设置一个key

redis-cli -a redhat

（4）此时检查目录，/data/6379底下没有dbmp.rdb文件

（5）通过save触发持久化，将数据写入RDB文件

127.0.0.1:6379> set age 18
OK
127.0.0.1:6379> save
OK

注意: 由于这个dbmp.rdb文件是用来存储持久化数据的，理所当然如果被删除了的话，数据就会消失

1554686474109_thumb1_thumb

1.2.2 AOF持久化

AOF（append-only log file）
记录服务器执行的所有变更操作命令（例如set del等），并在服务器启动时，通过重新执行这些命令来还原数据集
AOF 文件中的命令全部以redis协议的格式保存，新命令追加到文件末尾。
优点：最大程度保证数据不丢失 (比RDB要好，因为RDB有可能丢失数据)
缺点：日志记录非常大

（1）配置参数

AOF持久化配置，两条参数

appendonly yes
appendfsync  always    总是修改类的操作
             everysec   每秒做一次持久化
             no     依赖于系统自带的缓存大小机制

（2）准备aof配置文件 redis.conf

daemonize yes
port 6379
logfile /data/6379/redis.log
dir /data/6379
dbfilename  dbmp.rdb
requirepass redhat
save 900 1
save 300 10
save 60  10000
appendonly yes
appendfsync everysec

（3）启动redis服务

redis-server /etc/redis.conf

（4）检查redis数据目录/data/6379/是否产生了aof文件

[root@web02 6379]# ls
appendonly.aof  dbmp.rdb  redis.log

（5）登录redis-cli，写入数据，实时检查aof文件信息

[root@web02 6379]# tail -f appendonly.aof

（6）设置新key，检查aof信息，然后关闭redis，检查数据是否持久化

redis-cli -a redhat shutdown
redis-server /etc/redis.conf
redis-cli -a redhat

1554687112149_thumb5

1554687264749_thumb3

注:edis 持久化方式有哪些？有什么区别？

rdb：基于快照的持久化，速度更快，一般用作备份，主从复制也是依赖于rdb持久化功能

aof：以追加的方式记录redis操作日志的文件。可以最大程度的保证redis数据安全，类似于mysql的binlog

1.2.3  redis持久化RDB转化AOF

1554687642093_thumb3

1.3 redis主从同步

1132884-20180922122856003-755522114_

原理：

  1. 从服务器向主服务器发送 SYNC 命令。

  2. 接到 SYNC 命令的主服务器会调用BGSAVE 命令，创建一个 RDB 文件，并使用缓冲区记录接下来执行的所有写命令。

  3. 当主服务器执行完 BGSAVE 命令时，它会向从服务器发送 RDB 文件，而从服务器则会接收并载入这个文件。

  4. 主服务器将缓冲区储存的所有写命令发送给从服务器执行。

****************************************************************************************

  • 在开启主从复制的时候，使用的是RDB方式的，同步主从数据的
  • 同步开始之后，通过主库命令传播的方式，主动的复制方式实现
  • 2.8以后实现PSYNC的机制，实现断线重连

1.3.1 主从同步实验

（1）准备三个redis数据库配置文件

背景： 一主两从

6380为主，6381和6382 为从

cd /opt/redis_conf
vim redis-6380.conf
写入以下配置
port 6380
daemonize yes
pidfile /data/6380/redis.pid
loglevel notice
logfile "/data/6380/redis.log"
dbfilename dump.rdb
dir /data/6380
protected-mode no

再创建两个配置文件6381和6382

sed "s/6380/6381/g" redis-6380.conf > redis-6381.conf
sed "s/6380/6382/g" redis-6380.conf > redis-6382.conf

创建数据文件目录

[root@qishi666 redis_conf]# mkdir -p /data/6380
[root@qishi666 redis_conf]# mkdir -p /data/6381
[root@qishi666 redis_conf]# mkdir -p /data/6382

（2）启动redis数据库

[root@qishi666 redis_conf]# redis-server redis-6380.conf 
[root@qishi666 redis_conf]# redis-server redis-6381.conf 
[root@qishi666 redis_conf]# redis-server redis-6382.conf

（3）确保这三个redis数据库是完全独立的数据库

1554691250220_thumb3

（4）给两个从服务器配置文件再添加一行配置(很重要)

在6381和6382配置文件添加这一行配置，表示指定主服务器为6380
slaveof 127.0.0.1 6380

（5）重启数据库

pkill redis
redis-server /opt/redis_conf/redis-6380.conf
redis-server /opt/redis_conf/redis-6381.conf
redis-server /opt/redis_conf/redis-6382.conf

（6）查看主从数据库状态

redis-cli -p 6380 info
redis-cli -p 6380 info replication

1554691633454_thumb3

1554691676278_thumb2

1554691687764_thumb2

（7）添加数据进行测试

1554691756052_thumb2

1554691825416_thumb1

（8）手动进行主从复制故障切换

1.关闭6381的从库身份

redis-cli -p 6381
info replication
slaveof no one

2.将6382设为6381的从库

6382连接到6381：
[root@db03 ~]# redis-cli -p 6382
127.0.0.1:6382> SLAVEOF no one
127.0.0.1:6382> SLAVEOF 127.0.0.1 6381

1554692113987_thumb3

1554692290788_thumb2

1.4 redis哨兵

sentinel主要功能如下：

  • 不时的监控redis是否良好运行，如果节点不可达就会对节点进行下线标识

  • 如果被标识的是主节点，sentinel就会和其他的sentinel节点“协商”，如果其他节点也人为主节点不可达，就会选举一个sentinel节点来完成自动故障转义

  • 在master-slave进行切换后，master_redis.conf、slave_redis.conf和sentinel.conf的内容都会发生改变，即master_redis.conf中会多一行slaveof的配置，sentinel.conf的监控目标会随之调换1554694202558_thumb31554695435544_thumb2

1.4.1  配置三个redis数据库, 一主两从

redis-6380.conf
redis-6381.conf
redis-6382.conf

1.4.2  启动三个redis数据库，确保主从复制正常运行

redis-server redis-6380.conf
redis-server redis-6381.conf
redis-server redis-6382.conf
redis-cli -p 6380 info replication
redis-cli -p 6381 info replication
redis-cli -p 6382 info replication

1.4.3 配置三个哨兵

cd /opt/redis_conf
vim redis-26380.conf
vim redis-26381.conf
vim redis-26382.conf

写入以下配置文件

port 26379
dir /var/redis/data/
logfile "26379.log"
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000
daemonize yes

如果发现哨兵没有正常启动，必须把IP改为127.0.0.1

如果你是在三个不同的机器上，只能用机器对外访问的IP，那就需要添加这一个配置

sentinel announce-ip 127.0.0.1

1.4.4 启动三个哨兵

[root@qishi666 redis_conf]# redis-sentinel redis-26380.conf 
[root@qishi666 redis_conf]# redis-sentinel redis-26381.conf 
[root@qishi666 redis_conf]# redis-sentinel redis-26382.conf

1.4.5 此时查看哨兵是否成功通信

1554694511880_thumb3

1.4.6 如果出现问题，没有配置成功，没有显示前面这几条配置成功的信息，就推倒重来

如果出现问题，没有配置成功，没有显示前面这几条配置成功的信息，就推倒重来
如果出现问题，没有配置成功，没有显示前面这几条配置成功的信息，就推倒重来
如果出现问题，没有配置成功，没有显示前面这几条配置成功的信息，就推倒重来

从配置主从同步开始做

1554695773679_thumb3

1.4.7 验证redis高可用故障切换

大致思路

  • 杀掉主节点的redis进程6379端口，观察从节点是否会进行新的master选举，进行切换

  • 重新恢复旧的“master”节点，查看此时的redis身份

首先查看三个redis的进程状态

1554696065803_thumb2

1.5 redis集群

全量数据， 量很大，一台机器没有办法全部处理完，所以需要多台机器同时处理，才能达到我们想要的效果

就类似于一大车货物，通过5辆马车来运输

1554696507496_thumb3

redis集群槽位概念:虚拟槽分区巧妙地使用了哈希空间，使用分散度良好的哈希函数把所有的数据映射到一个固定范围内的整数集合，整数定义为槽（slot）。

  • Redis Cluster槽的范围是0～16383。
  • 槽是集群内数据管理和迁移的基本单位。采用大范围的槽的主要目的是为了方便数据的拆分和集群的扩展，
  • 每个节点负责一定数量的槽。

1554697005452_thumb2

1554697312544_thumb2

redis集群配置

1.5.1准备六个节点

cd /opt/jq
vim redis-7000.conf
vim redis-7001.conf
vim redis-7002.conf
vim redis-7003.conf
vim redis-7004.conf
vim redis-7005.conf

写入配置

port 7000
daemonize yes
dir "/opt/redis/data"
logfile "7000.log"
dbfilename "dump-7000.rdb"
cluster-enabled yes
cluster-config-file nodes-7000.conf

1554697607887_thumb3

这6个节点配置文件都一样，仅仅是端口的不同

[root@qishi666 jq]# sed "s/7000/7001/g" redis-7000.conf > redis-7001.conf
[root@qishi666 jq]# sed "s/7000/7002/g" redis-7000.conf > redis-7002.conf
[root@qishi666 jq]# sed "s/7000/7003/g" redis-7000.conf > redis-7003.conf
[root@qishi666 jq]# sed "s/7000/7004/g" redis-7000.conf > redis-7004.conf
[root@qishi666 jq]# sed "s/7000/7005/g" redis-7000.conf > redis-7005.conf

1.5.2 启动这六个节点

cd /opt/jq
redis-server redis-7000.conf
redis-server redis-7001.conf
redis-server redis-7002.conf
redis-server redis-7003.conf
redis-server redis-7004.conf
redis-server redis-7005.conf

1.5.3 随便进入一个redis交互模式，写入数据，发现无法写入

报错，没有分配哈希槽

1554698053927_thumb2

1.5.4 准备ruby环境，安装ruby并执行redis-trib.rb脚本

分配redis集群状态，以及槽位分配，互联网企业，豆瓣公司开源的一个工具

  • 下载、编译、安装Ruby

  • 安装rubygem redis

  • 安装redis-trib.rb命令

1.5.5 添加ruby环境变量

1554698280673_thumb2

1.5.6 安装ruby gem 包管理工具

wget http://rubygems.org/downloads/redis-3.3.0.gem
gem install -l redis-3.3.0.gem

安装redis-trib.rb命令
[root@qishi666 jq]# find /opt -name redis-trib.rb
/opt/redis-4.0.10/src/redis-trib.rb
[root@qishi666 jq]# cp /opt/redis-4.0.10/src/redis-trib.rb /usr/local/bin/

1.5.7 一键开启redis-cluster集群

# 每个主节点，有一个从节点，代表--replicas 1
redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
​
# 集群自动分配主从关系  7000、7001、7002为主 7003、7004、7005为从

1554698646496_thumb2

1554698792255_thumb2

1554698905680_thumb2

查看集群状态

1554699001336_thumb2

1.5.8 进入集群状态

redis-cli -p 7000 -c

1554699060088_thumb2

以上是关于Linux-基础学习-Redis的进阶学习的主要内容，如果未能解决你的问题，请参考以下文章

2021最新阿里Java面试流程，进阶学习

Java进阶学习资料！java编译软件下载

Redis进阶学习03---Redis完成秒杀和Redis分布式锁的应用

Redis基础及进阶

Redis进阶实践之一VMWare Pro虚拟机安装和Linux系统的安装

如何学习linux