Redis复制
Posted 你好，冯同学
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Redis复制相关的知识，希望对你有一定的参考价值。
文章目录
1、Redis复制
Redis通过复制来支持高可用性和故障转移
Redis主机上所具备的数据将通过复制机制，重新写入到Redis从机上，完成主从备份
一句话：就是主从复制，master以写为主，slave以读为主，当master数据变化的时候，自动将新的数据异步同步到其它slave数据库(可以有多台从机)
Redis复制主要有4个作用
1、读写分离
如果只有一台redis，读写都是它，那么它的负担很重。如果有几台从机，读找从机，写找主机，主机的负担大大减轻，可用性大大提高
2、容灾恢复
即使主机挂了，那么还有从机在，而且数据的同步是实时的，可以用于数据恢复，可以理解为是rdb和aof的延伸
3、数据备份
主机上的所有数据在从机中都有，那么从机上的数据就相当于备份
4、水平扩容支撑高可用
如果一两台从机不够用，那么可以多上几台从机，从而提升高可用
2、Redis复制细节以及基本命令
配置从(库)不配主(库)
当我们有了3台Redis主机后，不可能让3台主机都称为master，否则读写操作在哪台主机上呢？因此我们需要让其中一台为master，另外两台为slave
master主要用来写数据，而slave主要用来读取数据。当master写数据成功之后，它会将数据同步给slave，此时就保证了数据的一致性
权限细节
slave需要在自己的配置文件中写上自己的master是谁，并且需要告知master的密码，才能读取master的数据。假设不需要设置master的密码，那么谁都可以读取master的数据，这是非常不安全的，容易被黑客攻击
master如果配置了requirepass参数，需要密码登陆。那么slave就要配置masterauth来设置校验密码
否则的话master会拒绝slave的访问请求
基本命令
info replication
可以查看复制节点的主从关系和配置信息
replicaof 主库IP 主库端口
一般写入进redis.conf配置文件内，表示slave的master是谁
slaveof 主库IP 主库端口
slave每次与master断开之后，都需要使用该命令重新连接，除非你配置进redis. conf文件
在运行期间修改slave节点的信息，如果该数据库已经是某个主数据库的从数据库，那么会停止和原主数据库的同步关系转而和新的主数据库同步。一句话就是换一个master
slaveof no one
使当前数据库停止与其他数据库的同步，转成主数据库。一句话就是自己称为master
3、Redis主从复制演示
架构说明
一个master两个slave，做一主二从。拷贝多个redis.conf文件，例如：
redis6379.conf
redis6380.conf
redis6381.conf
我这里就用一台云服务即可，如果条件允许，可以用多台云服务器，不过要服务器之间能相互ping通且注意防火墙的配置
** 修改配置文件细节操作**
以redis6379.conf为例，其他配置文件都一样
-
开启daemonize yes
-
注释掉bind 127.0.0.1
-
关闭保护模式protected-mode no
-
指定端口
注意：如果是配置的redis6380.conf或者redis6381.conf，那么这里就是6380或者6381。 -
指定当前工作目录，dir
注意：如果是配置的redis6380.conf或者redis6381.conf，则改为root/myredis/redis6380或者root/myredis/redis6381 -
pid文件名字，pidfile
其他配置文件需要做相应的修改 -
log文件名字，logfile
其他配置文件需要做相应的修改 -
一定要设置密码 requirepass
其他配置文件也需要做相应的修改 -
配置dbfilename的名字
设置为对应的端口号，出现了问题好排查，其他配置文件也需要做相应的修改 -
aof文件，appendfilename
本步骤可选，但非必须，因为我们要演示主从复制，aof可以用也可以不用 -
从机访问主机的通行密码masterauth， 必须-----从机需要配置，主机不需要
上述步骤，三个配置配置文件都需要配置，本步骤只需要配置从机，也就是redis6380.conf和redis6381.conf
经过上述步骤，所有配置文件都已经配置好了
3.1 一主二从
先启动master(端口为6379)，再依次启动slave(端口号为6380和6381)
3台redis分别登录，查看是否有数据，注意登录的时候一定要指明端口，否则都会采用默认端口6379
主从关系日志产看
主机日志(master)
从机日志(slave)
从机6380日志
从机6381日志
但是一般redis中出现错误，我们才查看日志，所以我们可以用命令 info replication查看主从关系
主机：
从机6380：
从机6381：
在主机6379上进行写入操作，在两台从机上查看
主机6379：
从机6380：
从机6381：
主从复制细节问题1：从机可以执行写命令吗？
在从机6380上进行写入操作
答案：不能！！！
主从复制细节问题2：从机切入点问题
slave是从头开始复制还是从切入点开始复制？
从机6381断开
主机6379写入数据
从机6380查看数据
从机6381上线，查看数据
主机6379再次写入数据，查看从机查看数据
结论：slave掉线后重启，会将master中的数据都拷贝过来，之后master写，slave跟着复制(先全量，后增量)
主从复制细节问题3：主机shutdown后，从机是否会上位成为主机
主机6379shutdown
从机6380查看数据是否丢失，查看主从关系
数据并没有丢，自己还是slave
从机6381查看数据是否丢失，查看主从关系
数据并没有丢，自己还是slave
结论：主机掉线，从机不动，原地待命，从机数据可以正常使用，等待主机重启归来
主从复制细节问题4：主机shutdown后，重启后主从关系还在吗?从机还能否顺利复制?
主机6379重启，使用命令 info replication 查看主从关系
插入数据
从机查看数据
结论：主机从新启动，主从关系还在，依旧能进行主从复制
前面的案例都是配置文件固定写死的，除此之外我们可以使用命令操作，手动指定
从机停机去掉配置文件中的配置项，3台目前都是主机状态，各不从属
现在使用命令 slaveof masterIP master端口 连接上主机
主从复制细节问题5：使用命令构建主从关系，从机重启后，关系还在吗？
结论：使用命令构建主从关系，从机重启后，关系不在
如果使用配置，持久稳定。
如果使用命令，只在当前会话生效
3.2 薪火相传
上一个slave可以是下一个slave的master，slave同样可以接收其他slaves的连接和同步请求，那么该slave作为了链条中下一个的master，可以有效减轻主master的写压力
例如从机6381使用命令 slaveof 让主机6380成为它的master
可以看到从机6380还是slave，虽然自己有salve，但自己也有对应的master
在主机6379中插入数据，查看其他从机数据是否同步
数据已同步
此时既是master，又是slave的主机6380能否写数据呢？
答案：不能，只有最上层的master才能进行数据的写入
3.3 反客为主
可以使用命令 slaveof no one 使当前数据库停止和其他数据库进行数据的交互，自立为王，农民翻身把歌唱
从机6381使用命令 slaveof no one
查看从机6380的主从关系
4、复制原理和工作流程
-
slave启动，同步初请
slave启动成功连接到master后会发送一个sync命令
slave首次全新连接master，一次完全同步 (全量复制)将被自动执行，slave自身原有数据会被master数据覆盖清除 -
首次连接，全量复制
master节点收到sync命令后会开始在后台保存快照(即RDB持久化，主从复制时会触发RDB)，同时收集所有接收到的用于修改数据集命令缓存起来，master节点执行RDB持久化完后，master将rdb快照文件和所有缓存的命令发送到所有slave，以完成一次完全同步。而slave服务在接收到数据库文件数据后，将其存盘并加载到内存中，从而完成复制初始化 -
心跳持续，保持通信
主从关系的保持，是需要发心跳包的，每10秒钟发送一次
-
进入平稳，增量复制
master继续将新的所有收集到的修改命令自动依次传给slave，完成同步 -
从机下线，重连续传
master会检查backlog里面的offset，master和slave都会保存一个复制的offset还有一个masterId，offset是保存在backlog中的。master只会把已经复制的offset后面的数据复制给slave，类似断点续传
5、复制的缺点
-
复制延时，信号衰减
由于所有的写操作都是先在master上操作，然后同步更新到slave上，所以从master同步到slave机器有一定的延迟，当系统很繁忙的时候，延迟问题会更加严重，slave机器数量的增加也会使这个问题更加严重。
-
master挂了怎么办
默认情况下，从机等待，不会再slave节点中自动重选一个master，此时整个redis处于半瘫痪状态，只能读，不能写，只有人工干预，重启master
Redis——Redis主从复制
Redis主从复制概念
- 主从复制，是指将一台Redis服务器的数据,，复制到其他的Redis服务器。前者称为主节点(masterleader)，后者称为从节点(slave/follower);数据的复制是单向的，只能由主节点到从节点。Master以写为主，Slave以读为主。
- 默认情况下，每台Redis服务器都是主节点
- 且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。
- 主从复制的作用主要包括:
- 数据冗余∶主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
- 故障恢复∶当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复;实际上是一种服务的冗余。
- 负载均衡︰在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务(即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载;尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量
- 高可用基石∶除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础
- 一般来说，要将Redis运用于工程项目中，只使用一台Redis是万万不能的（宕机，一主二从），原因如下∶
- 从结构上，单个Redis服务器会发生单点故障，并且一台服务器需要处理所有的请求负载，压力较大;
- 从容量上，单个Redis服务器内存容量有限，就算一台Redis服务器内存容量为256G，也不能将所有内存用作Redis存储内存，一般来说，单台Redis最大使用内存不应该超过20G。
- 电商网站上的商品，一般都是一次上传，无数次浏览的，说专业点也就是"多读少写"。
- 对于这种场景，我们可以使如上这种架构
集群环境配置
- 只配置从库，不用配置主库！
- 因为Redis默认就是一个主库
127.0.0.1:6379> info replication #查看当前库的基本信息
# Replication
role:master #当前角色master
connected_slaves:0 #没有从机
master_failover_state:no-failover
master_replid:da7835383800aab344482c4efdd805f485fc28eb
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
- 打开四个窗口，架构为1主2从 另外一个为测试，均进入 /bin 目录
[root@pakho bin]# pwd
/usr/local/bin
- 增加配置文件
- 复制三个配置文件，修改对应信息
- 端口
- pid名字
- 日志名字
- 备份文件名字 dump.rdb
#位于redis配置文件
[root@pakho redis_config]# pwd
/usr/local/bin/redis_config
#根据端口copy配置文件,根据端口修改配置文件
[root@pakho redis_config]# cp redis.conf redis79.conf
[root@pakho redis_config]# cp redis.conf redis80.conf
[root@pakho redis_config]# cp redis.conf redis81.conf
#配置配置文件
[root@pakho redis_config]# vim redis79.conf
logfile "6379.log"
dbfilename dump6379.rdb
[root@pakho redis_config]# vim redis80.conf
port 6380
pidfile /var/run/redis_6380.pid
logfile "6380.log"
dbfilename dump6380.rdb
[root@pakho redis_config]# vim redis81.conf
port 6381
pidfile /var/run/redis_6381.pid
logfile "6381.log"
dbfilename dump6381.rdb
集群启动使用
[root@pakho bin]# redis-server redis_config/redis79.conf #启动79 redis服务
[root@pakho bin]# ls
6379.log #此时会生成一个6379.log表明以及启动
[root@pakho bin]# redis-server redis_config/redis80.conf #启动80 redis服务
[root@pakho bin]# redis-server redis_config/redis81.conf #启动81 redis服务
- 修改完毕后启动3个redis服务，通过进程查看，表明
启动成功
[root@pakho bin]# ps aux | grep -v grep | grep redis
root 6674 0.1 0.9 162396 9916 ? Ssl 20:30 0:00 redis-server 127.0.0.1:6379
root 6683 0.1 0.9 162396 9924 ? Ssl 20:33 0:00 redis-server 127.0.0.1:6380
root 6689 0.0 0.9 162396 9912 ? Ssl 20:34 0:00 redis-server 127.0.0.1:6381
一主二从配置
- 默认情况下，每台Redis服务器都是主节点
- 一般情况下配置从机就好了，“认老大”
- 一主（79），二从（80、81）
6379
[root@pakho bin]# redis-cli -p 6379
127.0.0.1:6379> ping
PONG
127.0.0.1:6379> info replication
# Replication
role:master
6380
[root@pakho bin]# redis-cli -p 6380
127.0.0.1:6380> info replication
# Replication
role:master
6381
[root@pakho bin]# redis-cli -p 6381
127.0.0.1:6381> ping
PONG
127.0.0.1:6381> info replication
# Replication
role:master
- 从机设置master
slaveof host 6379
127.0.0.1:6380> SLAVEOF 127.0.0.1 6379
OK
127.0.0.1:6380> info replication
# Replication
role:slave #当前角色从机
master_host:127.0.0.1 #可以看到主机角色
master_port:6379
master_link_status:up
master_last_io_seconds_ago:6
master_sync_in_progress:0
slave_repl_offset:0
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:38aa9e9204f21b598c2c162f176a599497082d95
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:0
#79 master检查
127.0.0.1:6379> info replication
# Replication
role:master #当前角色主机
connected_slaves:1 #连接一个从机
slave0:ip=127.0.0.1,port=6380,state=online,offset=224,lag=0 #连接一个从机,目前是在线的
master_failover_state:no-failover
master_replid:38aa9e9204f21b598c2c162f176a599497082d95
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:224
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:224
- 6381同理
127.0.0.1:6381> SLAVEOF 127.0.0.1 6379
OK
127.0.0.1:6381> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:10
master_sync_in_progress:0
slave_repl_offset:700
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:38aa9e9204f21b598c2c162f176a599497082d95
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:700
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:659
repl_backlog_histlen:42
- 通过都配置完成后会显示两个配置
- 真实的主从配置应该在配置文件中配置，这样的话是永久的，我们这里使用的是命令，暂时的！
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=127.0.0.1,port=6380,state=online,offset=742,lag=0
slave1:ip=127.0.0.1,port=6381,state=online,offset=742,lag=0
master_failover_state:no-failover
master_replid:38aa9e9204f21b598c2c162f176a599497082d95
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:742
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:742
关于配置文件配置主从永久生效
################################# REPLICATION #################################
# replicaof <masterip> <masterport> #设置对应主机地址,主机端口
# masterauth <master-password> #如果主机有密码,设置密码
配置完成后的一些验证
- 主机可以写，从机不能写只能读！ 主机中的所有信息和数据，都会自动被从机保存！
127.0.0.1:6379> set k1 v1 #主机设置值
OK
127.0.0.1:6380> keys * #从机查看
1) "k1"
127.0.0.1:6380> get k1
"v1"
127.0.0.1:6381> keys *
1) "k1"
127.0.0.1:6381> get k1
"v1"
-
试验从机能否写入？
只读主从复制- 从机只能读取内容
127.0.0.1:6381> set k2 v2
(error) READONLY You can't write against a read only replica.
- 假设主机宕机
127.0.0.1:6379> shutdown
not connected> exit
- 从机不会自动切换，需手动切换，也可使用哨兵模式
127.0.0.1:6380> info replication
# Replication
role:slave #从机不会自动切换
master_host:127.0.0.1
master_port:6379
master_link_status:down
master_last_io_seconds_ago:-1
master_sync_in_progress:0
slave_repl_offset:1886
master_link_down_since_seconds:108
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:38aa9e9204f21b598c2c162f176a599497082d95
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1886
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:1886
- 验证主机修复好后，从机能否依然可以读取主机数据
- 主机断开连接，从机依旧连接主机，但是没有写操作，这个时候主机如果回来了，从机依旧可以直接获取主机写的信息
- 保证了高可用性！
[root@pakho bin]# redis-server redis_config/redis79.conf
[root@pakho bin]# redis-cli -p 6379
127.0.0.1:6379> ping
PONG
127.0.0.1:6380> get k2
"v2"
127.0.0.1:6381> get k2
"v2"
- 假设从机宕机
127.0.0.1:6381> shutdown
not connected> exit
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=127.0.0.1,port=6380,state=online,offset=458,lag=1
master_failover_state:no-failover
master_replid:5e4a8baf094e06a17e005d33b09d52c190cea5f7
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:472
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:472
- 主机设置值
- 如果是使用命令行配置的主从，这时重启就会变回主机
127.0.0.1:6379> set k3 v3
OK
#重新连接从机
[root@pakho bin]# redis-server redis_config/redis81.conf
[root@pakho bin]# redis-cli -p 6381
127.0.0.1:6381> ping
PONG
127.0.0.1:6381> get k3
(nil)
#主机重新配置一个值
127.0.0.1:6379> set k4 v4
OK
#从机依旧无法查看
127.0.0.1:6381> get k4
(nil)
- 重新定义为从机
- 只要变为从机，立马会从主机中获取值
127.0.0.1:6381> SLAVEOF 127.0.0.1 6379
OK
127.0.0.1:6381> info replication
# Replication
role:slave
127.0.0.1:6381> get k4 #此时又会重新拿到数据
"v4"
复制原理
- Slave启动成功连接到 master 后会发送一个sync（同步） 命令
- Master 接到命令，启动后台的存盘进程，同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，master将传送整个数据文件到slave，并完成一次完全同步。
- 全量复制:而slave服务在接收到数据库文件数据后，将其存盘并加载到内存中。
- 增量复制:Master继续将新的所有收集到的修改命令依次传给slave，完成同步
- 但是只要是重新连接master，一次完全同步（全量复制)将被自动执行！我们的数据一定可以在从机中看到！
#增量复制
127.0.0.1:6379> set k5 v5
OK
127.0.0.1:6381> get k5
"v5"
层层链路
- 上一个M连接下一个S！
- 这时候也可以完成我们的主从复制！
127.0.0.1:6381> SLAVEOF 127.0.0.1 6380
OK
127.0.0.1:6381> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6380
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:1758
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:5e4a8baf094e06a17e005d33b09d52c190cea5f7
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1758
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:909
repl_backlog_histlen:850
- master插入新值，验证node是否能够拿到数据
127.0.0.1:6379> set k6 v6
OK
127.0.0.1:6380> get k6
"v6"
127.0.0.1:6381> get k6
"v6"
- 如果没有老大，这个时候能否选择一个老大出来？手动！
127.0.0.1:6379> shutdown
not connected> exit
宕机后手动配置主机
- 如果主机断开连接，我们可以使用
slaveof no one让自己变成主机！其他主机可以手动连接到最新的主节点（手动）；
127.0.0.1:6381> SLAVEOF no one
OK
127.0.0.1:6381> info replication
# Replication
role:master
connected_slaves:0
master_failover_state:no-failover
master_replid:e171928680f81750502ae220981e2aa417dc118e
master_replid2:5e4a8baf094e06a17e005d33b09d52c190cea5f7
master_repl_offset:2557
second_repl_offset:2558
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:909
repl_backlog_histlen:1649
- 如果这个时候老大修复，那就重新连接
#恢复原状
127.0.0.1:6381> SLAVEOF 127.0.0.1 6379
OK
以上是关于Redis复制的主要内容，如果未能解决你的问题，请参考以下文章