八redis集群安装

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了八redis集群安装相关的知识,希望对你有一定的参考价值。

Redis 简介

Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。


Redis 与其他 key - value 缓存产品有以下三个特点:

  • Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。

  • Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。

  • Redis支持数据的备份,即master-slave模式的数据备份。


Redis 优势

  • 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。

  • 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。

  • 原子 – Redis的所有操作都是原子性的,意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务,即原子性,通过MULTI和EXEC指令包起来。

  • 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。


Redis与其他key-value存储有什么不同?

  • Redis有着更为复杂的数据结构并且提供对他们的原子性操作,这是一个不同于其他数据库的进化路径。Redis的数据类型都是基于基本数据结构的同时对程序员透明,无需进行额外的抽象。

  • Redis运行在内存中但是可以持久化到磁盘,所以在对不同数据集进行高速读写时需要权衡内存,因为数据量不能大于硬件内存。在内存数据库方面的另一个优点是,相比在磁盘上相同的复杂的数据结构,在内存中操作起来非常简单,这样Redis可以做很多内部复杂性很强的事情。同时,在磁盘格式方面他们是紧凑的以追加的方式产生的,因为他们并不需要进行随机访问


redis 最适合的场景

(1)、会话缓存(Session Cache)

(2)、配合关系型数据库做高速缓存

(3)、缓存——热数据

(4)、计数器

(5)、  队列

(6)、  排行榜


这里我使用redis做会话缓存和mysql缓存



1.redis单机安装

cd /application/tools/
wget http://download.redis.io/releases/redis-4.0.9.tar.gz
tar xf redis-4.0.9.tar.gz
yum -y install gcc-c++
cd redis-4.0.6
make
make install PREFIX=/application/redis


前端启动方式
cd /application/redis/bin
./redis-server
4948:C 30 May 15:30:25.449 # Warning: no config file specified, using the default config. In order to specify a config file use ./redis-server /path/to/redis.conf
                _._                                                  
           _.-``__ ''-._                                             
      _.-``    `.  `_.  ''-._           Redis 4.0.9 (00000000/0) 64 bit
  .-`` .-```.  ```/    _.,_ ''-._                                   
 (    '      ,       .-`  | `,    )     Running in standalone mode
 |`-._`-...-` __...-.``-._|'` _.-'|     Port: 6379
 |    `-._   `._    /     _.-'    |     PID: 4948
  `-._    `-._  `-./  _.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |           http://redis.io        
  `-._    `-._`-.__.-'_.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |                                  
  `-._    `-._`-.__.-'_.-'    _.-'                                   
      `-._    `-.__.-'    _.-'                                       
          `-._        _.-'                                           
              `-.__.-'                                               
4948:M 30 May 15:30:25.478 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
4948:M 30 May 15:30:25.478 # Server initialized
4948:M 30 May 15:30:25.478 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
4948:M 30 May 15:30:25.478 * Ready to accept connections
后台启动 需要加上配置文件
cp /application/tools/redis-4.0.9/redis.conf /application/redis/bin/
vim /application/redis/bin/redis.conf
# By default Redis does not run as a daemon. Use 'yes' if you need it.
# Note that Redis will write a pid file in /var/run/redis.pid when daemonized.
daemonize yes
/application/redis/bin/redis-server /application/redis/bin/redis.conf
[[email protected] bin]# ps -ef | grep redis
root       4958      1  0 15:34 ?        00:00:00 /application/redis/bin/redis-server 127.0.0.1:6379

Redis 持久化

Redis 提供了多种不同级别的持久化方式:

  • RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot)。

  • AOF 持久化记录服务器执行的所有写操作命令,并在服务器启动时,通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存,新命令会被追加到文件的末尾。 Redis 还可以在后台对 AOF 文件进行重写(rewrite),使得 AOF 文件的体积不会超出保存数据集状态所需的实际大小。

  • Redis 还可以同时使用 AOF 持久化和 RDB 持久化。 在这种情况下, 当 Redis 重启时, 它会优先使用 AOF 文件来还原数据集, 因为 AOF 文件保存的数据集通常比 RDB 文件所保存的数据集更完整。

  • 你甚至可以关闭持久化功能,让数据只在服务器运行时存在。

RDB 的优点

  • RDB 是一个非常紧凑(compact)的文件,它保存了 Redis 在某个时间点上的数据集。 这种文件非常适合用于进行备份: 比如说,你可以在最近的 24 小时内,每小时备份一次 RDB 文件,并且在每个月的每一天,也备份一个 RDB 文件。 这样的话,即使遇上问题,也可以随时将数据集还原到不同的版本。

  • RDB 非常适用于灾难恢复(disaster recovery):它只有一个文件,并且内容都非常紧凑,可以(在加密后)将它传送到别的数据中心,或者亚马逊 S3 中。

  • RDB 可以最大化 Redis 的性能:父进程在保存 RDB 文件时唯一要做的就是 fork 出一个子进程,然后这个子进程就会处理接下来的所有保存工作,父进程无须执行任何磁盘 I/O 操作。

  • RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。

RDB 的缺点?

  • 如果你需要尽量避免在服务器故障时丢失数据,那么 RDB 不适合你。 虽然 Redis 允许你设置不同的保存点(save point)来控制保存 RDB 文件的频率, 但是, 因为RDB 文件需要保存整个数据集的状态, 所以它并不是一个轻松的操作。 因此你可能会至少 5 分钟才保存一次 RDB 文件。 在这种情况下, 一旦发生故障停机, 你就可能会丢失好几分钟的数据。

  • 每次保存 RDB 的时候,Redis 都要 fork() 出一个子进程,并由子进程来进行实际的持久化工作。 在数据集比较庞大时, fork() 可能会非常耗时,造成服务器在某某毫秒内停止处理客户端; 如果数据集非常巨大,并且 CPU 时间非常紧张的话,那么这种停止时间甚至可能会长达整整一秒。 虽然 AOF 重写也需要进行 fork() ,但无论 AOF 重写的执行间隔有多长,数据的耐久性都不会有任何损失。

AOF 的优点

  • 使用 AOF 持久化会让 Redis 变得非常耐久(much more durable):你可以设置不同的 fsync 策略,比如无 fsync ,每秒钟一次 fsync ,或者每次执行写入命令时 fsync 。 AOF 的默认策略为每秒钟 fsync 一次,在这种配置下,Redis 仍然可以保持良好的性能,并且就算发生故障停机,也最多只会丢失一秒钟的数据( fsync 会在后台线程执行,所以主线程可以继续努力地处理命令请求)。

  • AOF 文件是一个只进行追加操作的日志文件(append only log), 因此对 AOF 文件的写入不需要进行 seek , 即使日志因为某些原因而包含了未写入完整的命令(比如写入时磁盘已满,写入中途停机,等等), redis-check-aof 工具也可以轻易地修复这种问题。

  • Redis 可以在 AOF 文件体积变得过大时,自动地在后台对 AOF 进行重写: 重写后的新 AOF 文件包含了恢复当前数据集所需的最小命令集合。 整个重写操作是绝对安全的,因为 Redis 在创建新 AOF 文件的过程中,会继续将命令追加到现有的 AOF 文件里面,即使重写过程中发生停机,现有的 AOF 文件也不会丢失。 而一旦新 AOF 文件创建完毕,Redis 就会从旧 AOF 文件切换到新 AOF 文件,并开始对新 AOF 文件进行追加操作。

  • AOF 文件有序地保存了对数据库执行的所有写入操作, 这些写入操作以 Redis 协议的格式保存, 因此 AOF 文件的内容非常容易被人读懂, 对文件进行分析(parse)也很轻松。 导出(export) AOF 文件也非常简单: 举个例子, 如果你不小心执行了 FLUSHALL 命令, 但只要 AOF 文件未被重写, 那么只要停止服务器, 移除 AOF 文件末尾的 FLUSHALL 命令, 并重启 Redis , 就可以将数据集恢复到 FLUSHALL 执行之前的状态。

AOF 的缺点

  • 对于相同的数据集来说,AOF 文件的体积通常要大于 RDB 文件的体积。

  • 根据所使用的 fsync 策略,AOF 的速度可能会慢于 RDB 。 在一般情况下, 每秒 fsync 的性能依然非常高, 而关闭 fsync 可以让 AOF 的速度和 RDB 一样快, 即使在高负荷之下也是如此。 不过在处理巨大的写入载入时,RDB 可以提供更有保证的最大延迟时间(latency)。

  • AOF 在过去曾经发生过这样的 bug : 因为个别命令的原因,导致 AOF 文件在重新载入时,无法将数据集恢复成保存时的原样。 (举个例子,阻塞命令 BRPOPLPUSH 就曾经引起过这样的 bug 。) 测试套件里为这种情况添加了测试: 它们会自动生成随机的、复杂的数据集, 并通过重新载入这些数据来确保一切正常。 虽然这种 bug 在 AOF 文件中并不常见, 但是对比来说, RDB 几乎是不可能出现这种 bug 的。

RDB 和 AOF ,我应该用哪一个?

一般来说, 如果想达到足以媲美 PostgreSQL 的数据安全性, 你应该同时使用两种持久化功能。

如果你非常关心你的数据, 但仍然可以承受数分钟以内的数据丢失, 那么你可以只使用 RDB 持久化。

有很多用户都只使用 AOF 持久化, 但我们并不推荐这种方式: 因为定时生成 RDB 快照(snapshot)非常便于进行数据库备份, 并且 RDB 恢复数据集的速度也要比 AOF 恢复的速度要快, 除此之外, 使用 RDB 还可以避免之前提到的 AOF 程序的 bug 。


3.集群搭建

由于电脑性能限制这里搭建伪集群
安装6个实例 监听不同端口 7001-7006
修改redis.conf
vim /application/redis/bin/redis.conf
port 7001-7006
bind 172.16.1.145
cluster-enabled yes 

创建集群目录
cd /application/
mkdir redis-cluster


复制6份已安装的redis

for i in `seq 01 06`;do cp -r /application/redis/ /application/redis-cluster/redis$i/;done
[[email protected] redis-cluster]# ll
total 24
drwxr-xr-x 3 root root 4096 May 30 16:27 redis1
drwxr-xr-x 3 root root 4096 May 30 16:29 redis2
drwxr-xr-x 3 root root 4096 May 30 16:29 redis3
drwxr-xr-x 3 root root 4096 May 30 16:31 redis4
drwxr-xr-x 3 root root 4096 May 30 16:31 redis5
drwxr-xr-x 3 root root 4096 May 30 16:31 redis6


修改端口号

for i in `seq 6`;do sed -i "s/port 7001/port 700$i/" /application/redis-cluster/redis$i/bin/redis.conf;done
[[email protected] redis-cluster]# ls redis*/bin/redis.conf  | xargs cat | grep "port 700*"
port 7001
port 7002
port 7003
port 7004
port 7005
port 7006


启动脚本

vim /server/scripts/redis.sh 
if [ $# -eq 0 ]
then
echo "useage:sh $0 {start|stop}"
exit 0
fi

case $1 in
start)
for i in `seq 6`
do
cd /application/redis-cluster/redis$i/bin
./redis-server redis.conf >/dev/null 2>&1
done
;;
stop)
for i in `seq 6`
do
cd /application/redis-cluster/redis1/bin
./redis-cli -p 700$i -h 172.16.1.145 shutdown >/dev/null 2>&1
done
;;
esac


启动

sh /server/scripts/redis.sh start
[[email protected] redis-cluster]# ps ax|grep redis 
  5821 ?        Ssl    0:00 ./redis-server 172.16.1.145:7001 [cluster]
  5826 ?        Ssl    0:00 ./redis-server 172.16.1.145:7002 [cluster]
  5831 ?        Ssl    0:00 ./redis-server 172.16.1.145:7003 [cluster]
  5836 ?        Ssl    0:00 ./redis-server 172.16.1.145:7004 [cluster]
  5838 ?        Ssl    0:00 ./redis-server 172.16.1.145:7005 [cluster]
  5843 ?        Ssl    0:00 ./redis-server 172.16.1.145:7006 [cluster]


集群设置

cp /application/tools/redis-4.0.9/src/redis-trib.rb /application/redis-cluster/
yum -y install ruby rubygems
gem sources -a http://mirrors.aliyun.com/rubygems/
gem sources --remove  

[[email protected] ~]# gem sources -l
*** CURRENT SOURCES ***
 

gpg2 --keyserver hkp://keys.gnupg.net --recv-keys D39DC0E3
curl -L get.rvm.io | bash -s stable 
source /usr/local/rvm/scripts/rvm source /usr/local/rvm/scripts/rvm
ruby --version 
rvm remove 1.8.7
rvm list known
rvm install "ruby-2.4.1"
rvm use 2.4.1 --default
gem install redis
cd /application/redis-cluster/
./redis-trib.rb create --replicas 1 172.16.1.145:7001 172.16.1.145:7002 172.16.1.145:7003 172.16.1.145:7004 172.16.1.145:7005 172.16.1.145:7006

>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
172.16.1.145:7001
172.16.1.145:7002
172.16.1.145:7003
Adding replica 172.16.1.145:7005 to 172.16.1.145:7001
Adding replica 172.16.1.145:7006 to 172.16.1.145:7002
Adding replica 172.16.1.145:7004 to 172.16.1.145:7003
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: 50d38ab70ce509abadb577c91445be7a827f9a26 172.16.1.145:7001
   slots:0-5460 (5461 slots) master
M: 2e05364a9557ed203571e03ed7d455611dcd803d 172.16.1.145:7002
   slots:5461-10922 (5462 slots) master
M: c4386898d77085469b47e31face79708ac8d8cb8 172.16.1.145:7003
   slots:10923-16383 (5461 slots) master
S: a7001131f027ebf0ac70a98e317cc8b8dfb14ae2 172.16.1.145:7004
   replicates 2e05364a9557ed203571e03ed7d455611dcd803d
S: edb94e32d62fcd874d5cf00ff64d4aa7d771a927 172.16.1.145:7005
   replicates c4386898d77085469b47e31face79708ac8d8cb8
S: b8c2f3920a87a7ed5c6473a0ecd5bff92f1e8f4c 172.16.1.145:7006
   replicates 50d38ab70ce509abadb577c91445be7a827f9a26
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join......
>>> Performing Cluster Check (using node 172.16.1.145:7001)
M: 50d38ab70ce509abadb577c91445be7a827f9a26 172.16.1.145:7001
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
S: b8c2f3920a87a7ed5c6473a0ecd5bff92f1e8f4c 172.16.1.145:7006
   slots: (0 slots) slave
   replicates 50d38ab70ce509abadb577c91445be7a827f9a26
S: a7001131f027ebf0ac70a98e317cc8b8dfb14ae2 172.16.1.145:7004
   slots: (0 slots) slave
   replicates 2e05364a9557ed203571e03ed7d455611dcd803d
S: edb94e32d62fcd874d5cf00ff64d4aa7d771a927 172.16.1.145:7005
   slots: (0 slots) slave
   replicates c4386898d77085469b47e31face79708ac8d8cb8
M: 2e05364a9557ed203571e03ed7d455611dcd803d 172.16.1.145:7002
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
M: c4386898d77085469b47e31face79708ac8d8cb8 172.16.1.145:7003
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.


连接集群

/application/redis-cluster/redis1/bin/redis-cli -p 7004 -c


以上是关于八redis集群安装的主要内容,如果未能解决你的问题,请参考以下文章

如何利用redis来进行分布式集群系统的限流设计

搞懂Redis (八) - 哨兵机制

redis集群搭建

❤ 超强超详细 | Redis入门详解

如何安装Redis集群

分布式丛林探险系列之 Redis 集群模式