Redis 单机使用以及部署

Posted 2020-10-30

REDIS

中文文档http://www.redis.net.cn/tutorial/3501.html

安装包下载：http://download.redis.io/releases/

一、概述

    Redis 是一个开源的（BSD许可BSD开源协议是一个给予使用者很大自由的协议），内存中的数据结构存储，用作数据库，缓存和消息代理。他支持的数据结构如字符串、哈希、列表、集合、有序集合、位图、hyperloglogs等数据库类型。内置复制、lua脚本、lru收回、事物以及不同级别磁盘持久化功能，同时通过redis Sentinel 提供高可用，通过redis Cluster提供自动分区

Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。它通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。

二、三大特点以及优势

1、性能极高—redis能读的速度是110000次/s ，写的速度是81000次/s 。

2、具有丰富的数据类型—redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。

3、原子—redis的所有操作都是原子性的，同时redis还支持几个操作全并候的原子性执行。

所谓原子操作是指不会被线程调度机制打断的操作；这种操作一旦开始，就一直运行到结束，中间不会有任何context switch （上下文切换）

4、丰富的特性—redis还支持publish/subscribe，通知key过期等等特性

 

三、Redis与其他key-value存储有的不同

Redis有着更为复杂的数据结构并且提供对他们的原子性操作，redis数据库类型都是基于基本数据结构的同时对程序员透明，无需进行额外的抽象。

Redis运行在内存中但是可以持久化到磁盘，所以在对不同数据集进行告诉读写时需要权衡内存，应为数据量不能大于硬件内存，在内存中数据库的另一个优点是，相比在磁盘上相同的复杂数据结构，在内存中操作起来非常简单，这样redis可以做很多内部复杂性很强的事情。同时，在磁盘格式方面他们是紧凑的以追加的方式产生的，因为他们并不需要进行随机的访问。

 

四、redis和memcached的区别

1、redis可以用来做storage（存储）而memcached只能作为缓存（cache）

2、存储的数据有“结构”对于memcached来说，存储的数据只有1一种类型字符串。

而redis则可以存储字符串，链表，哈希结构，集合，有序集合

 

五、安装部署

关闭防火墙，selinux ，（为了安全考虑可以设置开启防火墙，并设置只能那些ip可以访问redis服务器）

yum  install  -y  gcc  tcl  wget    安装C语言编辑器

下载地址：http://www.redis.net.cn/download/，下载最新文档版本。

wget http://download.redis.io/releases/redis-2.8.17.tar.gz     把安装包pull下来

tar zxvf redis-3.0.6.tar.gz

cd  redis-3.0.6

make      编译成为二进制文件（不需要./configure）

make  PREFIX=/usr/local/redis  install 安装到/usr/local/redis

cd /usr/local/redis/bin 

./redis-benchmark //用于进行redis性能测试的工具
./redis-check-dump //用于修复出问题的dump.rdb文件
./redis-cli //redis的客户端
./redis-server //redis的服务端
./redis-check-aof //用于修复出问题的AOF文件

vim  redis.conf   参数配置 (在这里我只修改了标红的地方)

1、          redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启动守护进程（改为yes守护进程）

daemonize  no

2、          当redis以守护进程方式运行时，redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定

pidfile  /var/run/redis.pid

3、指定redis监听端口，默认端口为6379

port 6379

4、绑定的主机地址（如果需要外网访问的话不开启此值）

bind 127.0.0.1

5、当客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能。

timeout  300

6、指定日志记录级别，redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose

loglevel  verbose

7、日志记录方式，默认为标准输出，如果配置redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null

logfile  stdout

8、设置数据库的数量，默认数据库为0，可以使用select <bind> 命令在链接上指定数据库id

database 16

9、指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合

save  <seconds>  <changes>

redis默认配置文件中提供了三个条件：

save  900  1

save  300  10 

save  60  10000

分别表示900秒（15分钟）内有一次更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。

10、指定存储至本地数据库时是否压缩数据，默认为yes，redis采用LZF压缩。如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变得巨大

rdbcompression  yes

11、指定本地数据库文件名，默认值为dump.rdb

dbfilename  dump.rdb

12、指定本地数据库存放目录

dir  ./

13、设置当本机为slave服务时，设置master服务的ip地址及端口，在redis启动时，他会自动从master进行数据同步

slaveof  <masterip>  <masterport>

14、当master服务设置了密码保护时，slave服务连接master的密码

masterauth  <master--password>

15、设置redis连接密码，如果配置了连接密码，客户端在链接redis时需要通过AUTH<password> 命令提供密码，默认关闭(打开注释)

requirepass  foobared

16、设置同一时间最大客户端链接数，默认无限制，redis可以同时打开的客户端链接数位redis进程可以打开的最大文件秒数符数，如果设置maxclients 0，表示不做限制，当客户端链接数到达限制时，redis会关闭新的链接冰箱客户端返回max  number  of  clients  reached 错误信息

maxclients  128

17、指定redis最大内存限制，redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的key，当此方法处理后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。

Redis新的VM机制，会把key存放到内存中，Value会存放在swap分区

maxmemory  <bytes>

18、指定是否在每次更新操作后进行日志记录，redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为redis本省同步数据文件是按上面的save条件同步的，所以有的数据会在一段时间内只存在内存中，默认为no

appendonly  no

19、指定更新日志文件名，默认为appendonly.aof

appendfilename  appendonly.aof

20、指定更新日志条件，共有三个可选值：no：表示等操作系统进行数据缓存同步到磁盘（快） always：表示每次更新操作后手动调用fsync（）将数据写入磁盘（慢，安全） everysec：表示每秒同步一次（折衷，默认值）

appendfsync  everysec

21、指定是否启用虚拟内存机制，默认为no，VM机制将数据分页存放，由redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面有磁盘自动换出到内存中

vm-enabled  no

22、虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享

     vm-swap-file /tmp/redis.swap

23、将所有大于vm-max-memory的数据存入虚拟内存中，无论vm-max-memory设置多小，所有索引数据都是内存存储的（redis的索引数据就是keys），也就是说，vm-max-memory设置为0的时候，其实是所有value都存在于磁盘中。默认值为0

vm-max-memory

24、redis swap 文件分成了很多的page，一个对象可以保存多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的数据大小来设定，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不 确定，就使用默认值

 vm-page-size 32

25、设置swap文件中的page数量，在磁盘上每个pages将消耗1byte内存

   vm-pages 134217728

26、设置访问swap文件的线程数，最好不要超过机器的核数，如果设置为0，那么对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值4

vm-max-threads 4

28、指定在超过一定数量或者最大的袁术超过某一临界时，采用一种特殊的哈希算法

    hash-max-zipmap-entries 64

    hash-max-zipmap-value 512

29、指定是否激活哈希，默认为开启

  activerehashing yes

30、指定包含其他的配置文件，可以在同一主机上多个redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的配置文件

 include /path/to/local.conf

启动redis的方式

To run Redis with the default configuration just type:

    % cd src

    % ./redis-server

If you want to provide your redis.conf, you have to run it using an additional

parameter (the path of the configuration file):

    % cd src

    % ./redis-server /path/to/redis.conf

It is possible to alter the Redis configuration passing parameters directly

as options using the command line. Examples:

    % ./redis-server --port 9999 --slaveof 127.0.0.1 6379

    % ./redis-server /etc/redis/6379.conf --loglevel debug

 

测试

    % ./redis-cli

    redis> ping

    PONG

    redis> set foo bar

    OK

    redis> get foo

    "bar"

    redis> incr mycounter

    (integer) 1

    redis> incr mycounter

    (integer) 2

    redis>

 

登陆客户端 (此命令连接本地的redis服务)

./redis-cli

127.0.0.1:9999> ping                                  #执行ping命令检测redis服务是否启动

PONG

远程连接redis服务执行的命令

./redis-cli  -h  host  -p  port  -a  passwd

 

 

redis修改持久化路径和日志路径

复制代码 代码如下:

 

vim redis.conf

 

logfile /data/redis_cache/logs/redis.log #日志路径

dir /data/redis_cache #持久化路径，修改后 记得要把dump.rdb持久化文件拷贝到/data/redis_cache下

先杀掉redis，拷贝dump.rdb，启动

清redis缓存

复制代码 代码如下:

 

./redis-cli    #进入

 

dbsize

 

flushall     #执行

 

exit

删除redis当前数据库中的所有Key

复制代码 代码如下:

 

flushdb

删除redis所有数据库中的key
复制代码 代码如下:

 

flushall

 

 

六、redis数据结构---用法

Redis是一种高级的key:value存储系统，其中value支持五中数据类型

1、字符串（strings）

2、字符串列表（lists）

3、字符串集合（sets）

4、有序字符串集合（sorted sets）

5、哈希（hashes）

关于key的几点

1、key不要太长，尽量不要超过1024字节，这不仅消耗内存，而且会降低查找的效率；

2、key也不要太短，太短的话，key的可读性会降低；

3、在一个项目中，key最好使用同一的命名模式。例如：user:root:passwd

 

Redis—key 基本语法命令：http://www.redis.net.cn/tutorial/3507.html

格式： command  key_name

set key的名字  key的值  -------创建

del key的名字           -------删除

dump key                 -------序列化给定key，并返回被序列化的值

exists key               -------检查一个key是否存在

expire key               -------为给定key设置一个过期时间

expireat key timestamp   ------- EXPIREAT 的作用和 EXPIRE 类似，都用于为 key 设置过期时间。 不同在于 EXPIREAT 命令接受的时间参数是 UNIX 时间戳(unix timestamp)。

pexpire key milliseconds -------设置key的过期时间亿以毫秒计算

pexpireat key  milliseconds ----设置key过期时间的时间戳（unix timestamp）以毫秒计算

keys pattern             --------查找所有符合给定模式（pattern）的key

move key db              --------将当前数据库的key移动到给定数据库db当中。

persist  key             --------移除key的过期时间，key将持久保持

pttl key                 --------以毫秒为单位返回可以的剩余过期时间

ttl key                  --------以毫秒为单位，返回给定key的剩余生存时间（ttl,time to live）

rename key newkey        --------修改key的名称

renamenx key newkey      --------当newkey不存在时，将key改名为newkey

type key                 --------返回key所存储的值的类型。

 

1）Redis数据结构---strings（字符串）命令：http://www.redis.net.cn/tutorial/3508.html

Strings类型是一个很基础的数据类型，也就是任何存储系统都必备的数据类型。（非常的类似于memcache）

例1：

set  name  zsh

get  name

例2：让数值加一

192.168.2.40:6379> set name 213

OK

192.168.2.40:6379> get name

"213"

192.168.2.40:6379> incr name

(integer) 214

192.168.2.40:6379> get name

"214"

Incr指令本身就具有原子性的操作，所以我们完全可以利用redis的incr、incrby、decr、decrby等指令来实现原子计数的效果，例如在某种场景下有三个客户端同时读取了name的值为2，然后对其同时进行了加1操作，name最后name的值一定是5,。不少网站都利用redis的这个特性来实现业务上的统计计数需求。

 

2）redis数据结构—list （字符串列表列表）命令：http://www.redis.net.cn/tutorial/3510.html

Redis中的list在底层实现上并不是数组。而是链表，也就是说对于一个具有上百万个元素的list来说，在头部和尾部插入一个新的元素，比如用LPUSH在10个元素的lists头部插入新元素，和在上千万元素的lists头部插入新元素的速度应该是相同的

List弊端：链表型list的元素定位会比较慢，而数组型lists的元素定位就会快很多。

Lists中指定一个范围来提取元素

例1：

192.168.2.40:6379> LPUSH mylist 1   新建一个list叫做mylist，并在列表头部插入元素1

(integer) 1                                                          返回当前mylist中的元素个数

192.168.2.40:6379> RPUSH mylist 2   在mylist右侧插入元素2

(integer) 2

192.168.2.40:6379> LPUSH mylist 0   在mylist左侧插入元素0

(integer) 3

192.168.2.40:6379> LRANGE mylist 0 -1 列出mylist中从编号0到倒数第一个元素

1) "0"

2) "1"

3) "2"

List的应用范围：

1、我们可以利用lists来实现一个消息队列，而且可以确保先后顺序，不必想mysql那样还需要通过opder by

2、利用lrange还可以很方便的实现分页功能

3、在博客系统中每篇博文的评论也可以存入一个单独的list中。

 

 

3）redis数据结构—sets（字符串集合）有序集合命令：http://www.redis.net.cn/tutorial/3512.html

Redis的集合是一种无序的集合，集合中的元素没有先后顺序，可以添加新元素、删除已有元素、取交集、取并集，取差集等。

例：

192.168.2.40:6379> sadd mytest one     新创建一个集合，向新集合中添加一个新的元素one

(integer) 1                          

192.168.2.40:6379> sadd mytest two            添加元素two

(integer) 1

192.168.2.40:6379> smembers mytest    列出集合中的所有元素（列出的元素没有先后顺序）

1) "two"

2) "one"

192.168.2.40:6379> SISMEMBER mytest one   查看one元素是否在mytest中

(integer) 1

192.168.2.40:6379> SISMEMBER mytest three  查看three元素是否在mytest中

(integer) 0

192.168.2.40:6379> SADD yourtest 1    创建新的集合加入元素1

(integer) 1

192.168.2.40:6379> SADD yourtest 2   

(integer) 1

192.168.2.40:6379> SMEMBERS yourtest  列出集合的元素

1) "1"

2) "2"

192.168.2.40:6379> SUNION mytest yourtest  对两个元素集合求并集

1) "one"

2) "two"

3) "2"

4) "1"

这个集合可以看做QQ列表的名字，每个名字下对应很多值

 

4）redis数据结构—sorted sets（有序集合）详细sorted：http://www.redis.net.cn/tutorial/3512.html

有序集合中的每个元素都关联一个序号（score），有序集合的成员是唯一的但分数score却可以重复

集合是通过哈希表实现的，所以添加删除查找的复杂度都是0/1 ，集合中最大的成员数位

有序集合相关的操作指令：zrange，zadd，zrevrange，zrangebyscore 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。

例：

192.168.2.40:6379> ZADD mytest 1 baidu.com  新增一个有序集合mytest，并加入一个元素baidu.com赋予序号1

(integer) 1

192.168.2.40:6379> ZADD mytest 3 google.com   添加元素google.com赋予它的序号是3

(integer) 1

192.168.2.40:6379> ZADD mytest 2 360.com      添加元素google.com赋予它的序号是3

(integer) 1

192.168.2.40:6379> ZRANGE mytest 0 -1         列出所有的元素，

1) "baidu.com"

2) "360.com"

3) "google.com"

5）redis数据结构—哈希（hash）详细的hash命令：http://www.redis.net.cn/tutorial/3509.html

哈希结构是redis-2.0.0版本之后才有的数据结构

Hashes存的是字符串和字符串直接的映射，比如一个用户需要存储其全名、姓氏、年龄等等。

Redis中的每个hash可以存储232-1键值对（40多亿）

例：

192.168.2.40:6379> HMSET user:zsh username antirez password 123456 age 34  建立哈希，并赋值

OK

192.168.2.40:6379> HGETALL user:zsh    列出哈希的内容

1) "username"

2) "antirez"

3) "password"

4) "123456"

5) "age"

6) "34"

192.168.2.40:6379> HSET user:zsh password 654321   更改哈希算法里边密码的值

(integer) 0

192.168.2.40:6379> HGETALL user:zsh                在此列出，发现值已经更改

1) "username"

2) "antirez"

3) "password"

4) "654321"

5) "age"

6) "34"

6）redis的事物

Redis事物可以一次性执行多个命令，并且带有两个重要的保证：

1、事物是一个单独的隔离操作：事物中的所有命令都会序列化、按顺序地执行。事物在执行的过程中，不会被其他客户端发送来的命令请求所打断。

2、事物是一个原子性操作：事物中的命令要么全部被执行，要么全部不执行。

事物的三个阶段     开始事物----à命令入队---à执行事物

他先以multi开始一个事物，将多个命令入队到事物中，最后exec命令触发 ，执行命令的所有操作

例：

192.168.2.40:6379> MULTI   

OK

192.168.2.40:6379> set name zsh

QUEUED

192.168.2.40:6379> get name

QUEUED

192.168.2.40:6379> SADD tag "C++" "aaa" "bbb"

QUEUED

192.168.2.40:6379> exec

1) OK

2) "zsh"

3) (integer) 3

192.168.2.40:6379> SMEMBERS tag

1) "C++"

2) "bbb"

3) "aaa"

 

DISCARD  取消事物

MULTI    开启一个事物

Exec     执行事物

Unmatch  取消watch命令所有key的监视

Watch key 监视一个或多个key，如果在事物执行之前这个（或这些）key被其他命令所改动，那么事物将被打断。

7）redis—eval脚本

基本语法：eval  script  numkeys  key  [key  …..]  arg  [arg  ……]

Script : 参数是一段lua 5.1脚本程序。脚本不必（也不应该定义为一个lua函数）

Numkeys：用于指定键名参数的个数

命令：

1、EVAL script numkeys key [key ...] arg [arg ...] 执行 Lua 脚本。

2、EVALSHA sha1 numkeys key [key ...] arg [arg ...] 执行 Lua 脚本。

3、SCRIPT EXISTS script [script ...] 查看指定的脚本是否已经被保存在缓存当中。

4、SCRIPT FLUSH 从脚本缓存中移除所有脚本。

5、SCRIPT KILL 杀死当前正在运行的 Lua 脚本。

6、SCRIPT LOAD script 将脚本 script 添加到脚本缓存中，但并不立即执行这个脚本。

8）redis服务器统计信息

Info列出redis服务器的详细信息

命令：

1、BGREWRITEAOF 异步执行一个 AOF（AppendOnly File） 文件重写操作

2、BGSAVE 在后台异步保存当前数据库的数据到磁盘

3、CLIENT KILL [ip:port] [ID client-id] 关闭客户端连接

4、CLIENT LIST 获取连接到服务器的客户端连接列表

5、CLIENT GETNAME 获取连接的名称

6、CLIENT PAUSE timeout 在指定时间内终止运行来自客户端的命令

7、CLIENT SETNAME connection-name 设置当前连接的名称

8、CLUSTER SLOTS 获取集群节点的映射数组

9、COMMAND 获取 Redis 命令详情数组

10、COMMAND COUNT 获取 Redis 命令总数

11、COMMAND GETKEYS 获取给定命令的所有键

12、TIME 返回当前服务器时间

13、COMMAND INFO command-name [command-name ...] 获取指定 Redis 命令描述的数组

14、CONFIG GET parameter 获取指定配置参数的值

15、CONFIG REWRITE 对启动 Redis 服务器时所指定的 redis.conf 配置文件进行改写

16、CONFIG SET parameter value 修改 redis 配置参数，无需重启

17、CONFIG RESETSTAT 重置 INFO 命令中的某些统计数据

18、DBSIZE 返回当前数据库的 key 的数量

19、DEBUG OBJECT key 获取 key 的调试信息

20、DEBUG SEGFAULT 让 Redis 服务崩溃

21、FLUSHALL 删除所有数据库的所有key

22、FLUSHDB 删除当前数据库的所有key

23、INFO [section] 获取 Redis 服务器的各种信息和统计数值

24、LASTSAVE 返回最近一次 Redis 成功将数据保存到磁盘上的时间，以 UNIX 时间戳格式表示

25、MONITOR 实时打印出 Redis 服务器接收到的命令，调试用

26、ROLE   返回主从实例所属的角色

27、SAVE   保存数据到硬盘

28、BGSAVE  异步保存数据到硬盘 

28、SHUTDOWN [NOSAVE] [SAVE] 异步保存数据到硬盘，并关闭服务器

29、SLAVEOF host port 将当前服务器转变为指定服务器的从属服务器(slave server)

30、SLOWLOG subcommand [argument] 管理 redis 的慢日志

31、SYNC 用于复制功能(replication)的内部命令

9)redis 的数据备份与恢复

1、启动redis  ./redis-server ../redis.conf                                      启动

./redis-cli  -a aabbcc -h 192.168.2.40 -p 6379  登陆

2、查看已经存在的key

192.168.2.40:6379> keys *

1) "name"

2) "zsh"

3) "age"

4) "phone"

3、 数据备份

192.168.2.40:6379> SAVE      将数据写入到dump.rdb中

OK

192.168.2.40:6379> CONFIG GET dir   获取备份目录

1) "dir"

2) "/usr/local/redis/back"

4、停止redis服务

5、拷贝dump.rdb文件到/usr/local/redis/back下

6、重启redis服务

主从数据备份：

备份很简单，只需要把RDB，AOF的文件复制备份起来就可以了

#redisA: A上生成测试数据

redis 127.0.0.1:6379> set name test

7.0.0.1:6379> set age 17

OK

redis 127.0.0.1:6379> keys *
1) "age"

redis 127.0.0.1:6379> bgsave

Background saving started

#redisB: B上没有数据

redis 127.0.0.1:6380> keys *

(empty list or set)

#复制A的文件到B（rdb和aof文件）

cp redis/* redis2/ 

#修改权限

chown -R redis.redis *

#重启B 还原

redis 127.0.0.1:6380> keys *

1) “age”

 

 

10)redis安全

设置redis.conf中的requirepass参数，指定访问redis客户端的密码