Redis-----大集合（主从复制，哨兵，集群）

Posted 2023-03-01 南城诗客^

一、安装

1. 官网下载源码
   
2. 安装依赖包

yum -y install centos-release-scl && yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils && scl enable devtoolset-9 bash

3. 下载源码包

wget http://download.redis.io/releases/redis-4.0.10.tar.gz

4.解压安装

tar -xf redis-4.0.10.tar.gz
cd redis-4.0.10
make && make install

4. 配置 redis

mkdir /etc/redis
cd redis-4.0.10/
cp redis.conf /etc/redis/6379.conf

守护进程的方式启动服务时，即使执行启动服务命令的终端关闭，服务仍然可以在后台运行。

配置 centos7 systemd 管理 redis 服务

在/lib/systemd/system目录下创建一个脚本文件redis.service，里面的内容如下：

[Unit]
Description=Redis
After=network.target


[Service]
Type=simple
ExecStart=/usr/local/bin/redis-server /etc/redis/6379.conf  --daemonize no
ExecStop=/usr/local/bin/redis-cli -p 6379 shutdown

[Install]
WantedBy=multi-user.target

[Unit] 表示这是基础信息配置块
Description 是描述
After 开启自启动时候的顺序, 指定的服务必须先于次此服务启动，一般是网络服务启动后启动
[Service] 表示这里是服务信息配置块
Type 指定启动服务的类型, simple 是默认的方式
EnvironmentFile 指定服务启动时用到的配置文件
ExecStart 是启动服务的命令
ExecStop 是停止服务的指令
[Install] 表示这是是安装信息配置块
WantedBy 是以哪种方式启动：multi-user.target表明当系统以多用户方式（默认的运行级别）启动时，这个服务需要被自动运行。

授权在主机启动的时候同时启动服务

systemctl enable redis.service

关于 server 文件的详细参数介绍参考这里:

1.使用 systemctl 操作

刷新配置，让 systemd 识别刚刚添加的 redis 服务

systemctl daemon-reload

启动服务

systemctl start redis

关于配置文件中的配置

设置监听地址

 shell> vi /etc/redis/6379.conf
 # bind 127.0.0.1 192.168.1.10  

bind 参数若都注释掉，则会监听服务器上的所有 ip
可以指定一个或者多个，打开注释。
注意此配置项可能在 71 行左右。默认是 bind 127.0.0.1

检查并测试
检查默认端口 6379 是否监听

shell> redis-cli
127.0.0.1:6379> info
#Server
redis_version:4.0.10
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:cfb22f7d67db356d
... 略 ...

手动使用命令指定配置文件启动服务

/usr/local/bin/redis-server /etc/redis/6379.conf

这种方式执行，默认 Redis 服务侯会在前台运行。

设置使用守护进程都方式运行服务
需要编辑配置文件 /etc/redis/6379.conf

daemonize yes   # 守护进程的方式启动服务

客户端指定端口访问

redis-cli -p 6379

手动停止服务

redis-cli -p 6379 shutdown

假如重启后出现如下错误信息，就按照提示操作

1044:M 27 Feb 14:47:21.993 # Server initialized
1044:M 27 Feb 14:47:21.993 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
1044:M 27 Feb 14:47:21.993 # Short read or OOM loading DB. Unrecoverable error, aborting now.
1044:M 27 Feb 14:47:21.993 # Internal error in RDB reading function at rdb.c:1666 -> Unexpected EOF reading RDB file

echo "vm.overcommit_memory = 1"  >> /etc/sysctl.conf

sysctl -p

问题二

 error, aborting now.
1344:M 27 Feb 14:59:33.466 # Internal error in RDB reading function at rdb.c:1666 -> Unexpected EOF reading RDB file

移动 dump.db 文件或者更名，可以删除。

rm dump.rdb

二、数据类型

1. 数据类型的基本介绍
   
2. 数据类型的基本操作

127.0.0.1:6379> help set
SET key value [EX seconds] [PX milliseconds] [NX|XX]

在 Redis 中设置值，默认，不存在则创建，存在则修改
参数：
ex，过期时间（秒）
px，过期时间（毫秒）
nx，假如设置为True，则只有 name 不存在时，当前 set 操作才执行
xx，假如设置为True，则只有 name 存在时，当前 set 操作才执行

Example

127.0.0.1:6379> set name shark EX 10
OK
127.0.0.1:6379> get name
"shark"

setnx

127.0.0.1:6379> help setnx
  SETNX key value

设置值，只有name 不存在时，执行设置操作（添加）
Example

127.0.0.1:6379> setnx age 10
(integer) 1
127.0.0.1:6379> get age
"10"
127.0.0.1:6379> setnx age 20
(integer) 0
127.0.0.1:6379> get age
"10"
127.0.0.1:6379>

setex

127.0.0.1:6379> help setex
  SETEX key seconds value

设置 key 和 value，并且指的过期时间（单位: 秒）

Example

127.0.0.1:6379> setex name 5 shark
OK
get

获取一个 key 的 value

127.0.0.1:6379> get name
"shark"
ttl

查看一个 key 的过期时间

127.0.0.1:6379> ttl age
(integer) -1

-1 永不过期
-2 已经过期
expire

设置一个 key 的过期时间（单位: 秒）

127.0.0.1:6379> EXPIRE age 10
(integer) 1
127.0.0.1:6379> ttl age
(integer) 7
persist key

移除 key 的过期时间

mset

一次添加多个值

127.0.0.1:6379> mset name shark age 10
OK
mget

一次获取多个 key 的值

127.0.0.1:6379> MGET name age
1) "shark"
2) "10
incr

对一个 key 的值自增 1

127.0.0.1:6379> incr age
(integer) 11
decr

对一个 key 的值自减 1

127.0.0.1:6379> DECR age
(integer) 10
append

向一个 key 的值后面追加内容

127.0.0.1:6379> get n
"10"
127.0.0.1:6379> APPEND n 10
(integer) 4
127.0.0.1:6379> get n
"1010"

getrange

127.0.0.1:6379> GETRANGE n 0 -1
"1010"

del
删除 一个或者多个 key

127.0.0.1:6379> del name age
(integer) 2

EXISTS
判断一个 key 是否存在, 返回 1 表示存在， 0 表示不存在

127.0.0.1:6379> exists age
(integer) 1
127.0.0.1:6379> exists aaa
(integer) 0
127.0.0.1:6379>

TYPE
返回key存储的类型，如果不存在则返回none

type key

keys
通过通配符来获取匹配到的 key
一般不在生产环境中使用此命令

• 匹配所有
  ? 匹配任意一个

127.0.0.1:6379> keys *
1) "num"
2) "age"
3) "n"
127.0.0.1:6379> keys n*
1) "num"
2) "n"
127.0.0.1:6379> keys a[f-g]
(empty list or set)
127.0.0.1:6379> keys a[e-g]?
1) "age"

scan

dbsize

返回数据库种 key 的总数

dbsize

EXPIRE

设置key的过期时间，如果key不存在则返回0，否则返回1.如果key已经存在过期时间则再设置会覆盖之前的过期时间

b. List 操作
lpush

向列表左端添加元素，values是按左到右依次插入的，返回值为列表中元素个数，列表元素可以重复

最后加入到元素，在列表的第一位

127.0.0.1:6379> LPUSH list a b c
(integer) 3
127.0.0.1:6379> LPUSH list a b c
(integer) 6

rpush
向列表右端依次的添加元素，最后加入的元素在列表的最后位置

127.0.0.1:6379> RPUSH list d e f
(integer) 9

LINDEX

通过元素在列表中的位置获取到这个元素，位置称为索引号/下标，

位置支持正整数和负整数

列表中元素的位置中，第一位是 0，最后一位是列表总长度减 1 或者是 -1

127.0.0.1:6379> LINDEX list 0
"c"

LRANGE

获取列表表一个区间的值

127.0.0.1:6379> LRANGE list 0 2
1) "c"
2) "b"
3) "a"

LPUSHX

向列表左端添加元素，只有key存在时才可以添加

127.0.0.1:6379> EXISTS list1 
(integer) 0
127.0.0.1:6379> LPUSHX list1 a
(integer) 0
127.0.0.1:6379> LPUSHX list g
(integer) 10

RPUSHX

向列表右端添加元素，其他与LPUSHX相同

LPOP

将左端列表元素弹出，会将其从列表中删除，如果key不存在则返回(nil)

127.0.0.1:6379> LPOP list
"g"
127.0.0.1:6379> LPOP list
"c"

RPOP

将右端列表元素弹出，其他同LPOP

LLEN

返回列表的长度，如果列表不存在则返回0

127.0.0.1:6379> LLEN list
(integer) 8
127.0.0.1:6379> LLEN list1
(integer) 0

LREM

lrem  key count value

删除列表中指定的值，返回值为删除的元素的个数，count值有以下几种：

count > 0: 从列表的头开始，向尾部搜索，移除与value相等的元素，移除count个
count < 0: 从列表尾部开始，向头部搜索，移除与value相等的元素，移除-count个
count == 0: 移除列表中所有与value相等的
c. Hash

HSET key field value

将哈希表key中的域 (field) 设置成指定的value，如果key不存在则新建一个hash表，如果域不存在则新建域，如果域已存在则更新域，如果field不存在返回1表示新建，存在则返回0表示更新

127.0.0.1:6379> HSET userinfo username 'shark'
(integer) 1
127.0.0.1:6379> HSET userinfo userpsw '123456'
(integer) 1
127.0.0.1:6379> HSET userinfo userpsw '654321'
(integer) 0

HGET key field
获取哈希表key中的域field的值，如果key或者field不存在则返回(nil)

127.0.0.1:6379> HGET userinfo2 username
(nil)
127.0.0.1:6379> HGET userinfo username
"stronger"
127.0.0.1:6379> HGET userinfo email
(nil)

HSETNX key field value

将哈希表中的域field设置成指定的值，只有field不存在时才可以成功，如果field存在操作无效，返回0

127.0.0.1:6379> HGET userinfo username
"stronger"
127.0.0.1:6379> HSETNX userinfo username 'fish'
(integer) 0
127.0.0.1:6379> HGET userinfo username
"stronger"

HMSET key field vale [field value]

同时将多个field-value设定到hash表中，如果field已存在值则会被覆盖掉

127.0.0.1:6379> HMSET userinfo email '[e-mail]' sex 'male'
OK

HMGET key field [field]

同时获得key存储的hansh表中多个field的值，如果不存在则返回(nil)

127.0.0.1:6379> HMGET userinfo email sex age
1) "[e-mail]"
2) "male"
3) (nil)

HGETALL key

返回key存储的所有field及value

127.0.0.1:6379> HGETALL userinfo
1) "username"
2) "stronger"
3) "userpsw"
4) "654321"
5) "email"
6) "[e-mail]"
7) "sex"
8) "male"
127.0.0.1:6379> HGETALL userinfo2
(empty list or set)

HKEYS key

返回hash的所有域

127.0.0.1:6379> HKEYS userinfo
1) "username"
2) "userpsw"
3) "email"
4) "sex"

HVALS key

返回hash的所有域的值

127.0.0.1:6379> HVALS userinfo
1) "stronger"
2) "654321"
3) "[e-mail]"
4) "male"

HEXISTS key field

检测key中存储的hash中field是否存在，存在返回1，否则返回0

127.0.0.1:6379> HEXISTS userinfo username
(integer) 1
127.0.0.1:6379> HEXISTS userinfo age
(integer) 0

HLEN key

返回key中存储的hash表中field的数量

127.0.0.1:6379> HLEN userinfo
(integer) 4

HINCRBY key field increment

给key中存储的hash表field增加increment，如果此field不存在，则创建值为0的field，然后增加increment。操作的字段必须是整数，参照字符串处理

127.0.0.1:6379> HINCRBY userinfo age 10
(integer) 10

HINCRBYFLOAT key field increment

给key中存储的hash表field增加increment，可以为浮点数，参照字符串处理

127.0.0.1:6379> HINCRBYFLOAT userinfo salary 150.56
"150.56"

HDEL key field [field]

删除key中存储的hash表的field，可以删除一个或多个,成功返回被移除域的数量

127.0.0.1:6379> HKEYS userinfo
1) "username"
2) "userpsw"
3) "email"
4) "sex"
5) "age"
6) "salary"
127.0.0.1:6379> HDEL userinfo salary age
(integer) 2
127.0.0.1:6379> HKEYS userinfo
1) "username"
2) "userpsw"
3) "email"
4) "sex"

Set
Redis 的 Set 是 String 类型的无序集合。集合成员是唯一的，这就意味着集合中不能出现重复的数据。

Redis 中集合是通过哈希表实现的。

// 向集合中添加一个或者多个元素
SADD key member [member ...]

// 返回一个集合中的所有成员
SMEMBERS key

// 获取集合中元素的个数
SCARD key

// 返回所有集合的差集，就是存在于第一个集合中，且不存在于其他集合中的成员
SDIFF key [key ...]
 
// 交集，就是所有集合共有的元素
SINTER key [key ...]
 
// 并集， 就是所有集合的元素合并在一起，并去重
SUNION key [key ...]
 
// 差集， 返回第一集合中独有的元素
SDIFF  key  [key...]

Example

127.0.0.1:6379> sadd s1 a b
(integer) 2
127.0.0.1:6379> sadd s2 a b c d
(integer) 4
127.0.0.1:6379> sadd s3 c d e f
(integer) 4

127.0.0.1:6379> sdiff s2 s1
1) "d"
2) "c"

127.0.0.1:6379> SINTER s1 s2
1) "b"
2) "a"

127.0.0.1:6379> SUNION s1 s2 s3
1) "b"
2) "c"
3) "d"
4) "f"
5) "a"
6) "e"

127.0.0.1:6379> SMEMBERS s1
1) "b"
2) "a"

Sort Set 操作
有序集合，在集合的基础上，为每元素排序；元素的排序需要根据另外一个值来进行比较，所以，对于有序集合，每一个元素有两个值，即：值和分数，分数专门用来做排序。

// 向有序集合添加一个或多个成员，或者更新已存在成员的分数
ZADD key score1 member1 [score2 member2]

// score1 是成员的分数
// member 是有序集合中的成员

// 获取有序集合的元素个数
ZCARD key 

// 返回有序集合中的所有成员
127.0.0.1:6379> zrange sort_s 0 -1
1) "no"
2) "hello"

// 返回有序集合中的所有成员及其索引号(分数)
127.0.0.1:6379> zrange sort_s 0 -1  withscores
1) "no"
2) "1"
3) "hello"
4) "2"
127.0.0.1:6379>

出现下面的错误，是操作的命令和这个命令所能操作的数据类型不符合。

(error) WRONGTYPE Operation against a key holding the wrong kind of value

三、Redis 的认证连接
// 在配置文件中找到以下配置项，大约在第 500 行

shell> vi /etc/redis/6379.conf
requirepass mypassword
mypassword 就是密码了，更改好后重启服务

使用设置好的密码认证

// 使用 auth 进行密码认证
127.0.0.1:6379> info
NOAUTH Authentication required.
127.0.0.1:6379> auth  mypassword
OK
127.0.0.1:6379> info

 Server
redis_version:4.0.10
...略...

或者在 shell 命令行里使用 -a 选项指定密码，会出现警告信息

[root@localhost ~]# redis-cli  -a foobared info
Warning: Using a password with '-a' option on the command line interface may not be safe.
 # Server
redis_version:4.0.10
...略...

四、php-redis

开始在 PHP 中使用 Redis 前， 我们需要确保已经安装了 redis 服务及 PHP redis 驱动，且你的机器上能正常使用 PHP。

安装 phpredis 驱动
点我进入下载页面，,注意选择版本

1. 下载解压后，进入解压后的目录

[root@s2 ~]# wget https://github.com/phpredis/phpredis/archive/4.2.0.tar.gz
shell> 
shell> cd php7-redis

2. 安装 php
   安装 php , 只需要使用 YUM 安装 php-devel 即可。

yum install php-devel

3. 执行如下命令，生成配置工具
   在解压后的 php 目录中执行如下命令

shell> phpize

4. 使用生成的配置工具命令 configre 进行配置并编译安装
配置

[root@s2 phpredis-4.2.0]# find / -name php-config
/usr/bin/php-config
[root@s2 phpredis-4.2.0]# ./configure --with-php-config=/usr/bin/php-config
   ... 略...
checking whether to build shared libraries... yes
checking whether to build static libraries... no
configure: creating ./config.status
config.status: creating config.h
config.status: executing libtool commands

编译安装

[root@s2 phpredis-4.2.0]# make && make install
  ...略...
Build complete.
Don't forget to run 'make test'.

Installing shared extensions:     /usr/lib64/php/modules/

5. 测试安装是否成功

[root@s2 phpredis-4.2.0]# php -v
PHP 5.4.16 (cli) (built: Oct 30 2018 19:30:51)
Copyright (c) 1997-2013 The PHP Group
Zend Engine v2.4.0, Copyright (c) 1998-2013 Zend Technologies

6. 在php.ini中添加 extension=redis.so

[root@s2 phpredis-4.2.0]# find / -name php.ini
/etc/php.ini
[root@s2 phpredis-4.2.0]# vi /etc/php.ini
[root@s2 phpredis-4.2.0]# tail /etc/php.ini
;mcrypt.modes_dir=

[dba]
;dba.default_handler=

; Local Variables:
; tab-width: 4
; End:

extension=redis.so


[root@s2 phpredis-4.2.0]# php -m | grep redis
redis

7. php -m | grep redis或者phpinfo查看安装是否成功

[root@s2 phpredis-4.2.0]# php -m | grep redis
redis

五、持久化存储

1. 持久化存储的方式介绍
   Redis 分别提供了 RDB 和 AOF 两种持久化机制：

RDB 将数据库的快照（snapshot）以二进制的方式保存到磁盘中。

AOF 则以协议文本的方式，将所有对数据库进行过写入的命令（及其参数）记录到 AOF 文件，以此达到记录数据库状态的目的。

2. RDB
   a. 什么是RDB
   和 mysql 中的 mysqldump 差不多一个道理。

b. 什么情况下会触发 RDB
第一种情况，主动执行 save 命令（同步，阻塞 ，就是save 命令执行完毕后才能执行后续的其他命令操作）

阻塞

保存 RDB 文件的策略
每次创建新的文件，并且替换原来旧文件（假如存在旧的文件）

第二种情况，主动执行 bgsave 命令 （异步，非阻塞 ）

文件策略和 save 相同
第三种情况，自动触发
自动触发，就是通过对 Redis 的配置文件重相关选项的修改，当达到某个配置好的条件后，自动生成 RDB 文件
，其内部使用的是 bgsave 命令。

配置文件中相关选项的默认值如下表：

每次检查都会建立一个新的检查点，以便用于下次检查作为参考信息。

关于 RDB 文件的配置信息

默认文件名
dbfilename dump.rdb

默认文件保存位置
dir ./

假如 bgsave 执行中发生错误，是否停止写入，默认是 yes ， 表示假如出错，就停止写入。
stop-writes-on-bgsave-error yes

是否使用压缩|
rdbcompression yes

是否进行数据的校验
rdbchecksum yes

建议的最佳配置
关闭自动生成 RDB 文件
在配置文件中注释掉如下内容

#save 900 1
#save 300 10
#save 60    10000

使用不同端口号进行区分，因为，有可能会在同一台主机上开启多个 Redis 实例。
防止多个实例产生的数据信息写到一个文件中。

dbfilename dump-$port.rdb

指定一个大硬盘的路径

dir /redis_data

假如出现错误，停止继续写入

stop-writes-on-bgsave-error yes

采用压缩

rdbcompression yes

进行校验

rdbchecksum yes

实验
修改配置文件中的相关选项，使其成为如下内容中显示的值：

dbfilename dump-6379.rdb
dir /redis_data   # 此目录需要自己创建
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes

假如你的 Redis 服务器允许客户端可以从非本机访问，应该在配置文件中，把 protected-mode 的值设置问 no。

这样的话，客户端就可以从其他主机访问 Redis 服务器了，并且不需要密码。

重启服务后，在 Rdis 命令行客户端中输入 save 命令。

[root@s1 ~]# redis-cli
127.0.0.1:6379> save
OK
127.0.0.1:6379>

该命令将在配置文件重配置的指定目录中创建 dump-6379.rdb文件。

恢复数据时，只需要保证此文件完好，并且在配置文件中指定的目录下即可。这样 Rdis 启动时就会把此文件中的数据恢复到当前的服务器中。

bgsave 命令和 save基本一样，就是 bgsave 命令不会产生阻塞

127.0.0.1:6379> bgsave
Background saving started
127.0.0.1:6379>

查看当前服务器的数据文件目录

127.0.0.1:6379> CONFIG GET dir
1) "dir"
2) "/"

第二章节

Redis 高级部分，主从复制：

一、主从复制

Rdis 的主从复制特点

1. 配置主从

实现方式同样有两种: 命令方式和配置文件方式

命令方式

只需要在从服务器上执行如下命令即可

slaveof  主服务器的IP  端口号

slaveof 命令是异步的，不阻塞。
并且此时，从服务器现有的数据会先被清空，之后再同步主服务器的数据。

停止一台从服务器的复制操作，在此台服务器上执行如下命令

slaveof no   one

配置文件的方式如下
只需要在从服务器上配置即可

修改配置文件
假如主服务器 IP 是: 172.16.153.178
端口是: 6379

#slaveof <masterip> <masterport>
slaveof  172.16.153.178 6379

// 配置此服务器只提供读取操作
slave-read-only yes

之后重启从主机的 Redis 服务

查看主从信息

127.0.0.1:6379> info  replication

二、主从 + Sentinel 哨兵模式

Redis Sentinel是Redis官方的高可用性解决方案。

Redis 的 Sentinel 系统用于管理多个 Redis 服务器（instance）， 该系统执行以下三个任务：

监控（Monitoring）： Sentinel 会不断地检查你的主服务器和从服务器是否运作正常。

提醒（Notification）： 当被监控的某个 Redis 服务器出现问题时， Sentinel 可以通过 API 向管理员或者其他应用程序发送通知。

自动故障迁移（Automatic failover）： 当一个主服务器不能正常工作时， Sentinel 会开始一次自动故障迁移操作， 它会将主从复制组合中的其中一个从服务器升级为新的主服务器， 并让其他从服务器指向新的主服务器； 当客户端试图连接失效的主服务器时， Sentinel也会向客户端返回新主服务器的地址， 使得新主服务器代替失效服务器。

Redis Sentinel 是一个分布式系统， 你可以在一个架构中运行多个 Sentinel 进程（progress）， 这些进程使用流言协议（gossip protocols)来接收关于主服务器是否下线的信息， 并使用投票协议（agreement protocols）来决定是否执行自动故障迁移， 以及选择哪个从服务器作为新的主服务器。

虽然 Redis 为 Sentinel 生成一个单独的可执行文件 redis-sentinel ，