缓存队列(MemcachedredisRabbitMQ)

Posted linux学习笔记

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了缓存队列(MemcachedredisRabbitMQ)相关的知识,希望对你有一定的参考价值。

  • Memcached 
    •   简介、安装、使用
    •   Python 操作 Memcached
    •   天生支持集群
  • redis
    •   简介、安装、使用、实例
    •   Python 操作 Redis
    •   String、Hash、List、Set、Sort Set 操作
    •   管道
    •   发布订阅
  • RabbitMQ
    •   简介、安装、使用
    •   使用 API 操作 RabbitMQ
    •   消息不丢失
    •   发布订阅
    •   关键字发送
    •   模糊匹配

 

一、Memcached

1、简介、安装、使用

  Memcached 是一个高性能的分布式内存对象缓存系统,用于动态 Web 应用以减轻数据库负载压力。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached 基于一个存储键/值对的 hashmap。其守护进程(daemon )是用 C 写的,但是客户端可以用任何语言来编写,并通过 memcached 协议与守护进程通信。

 

Memcached 内存管理机制:

       Menceched 通过预分配指定的内存空间来存取数据,所有的数据都保存在 memcached 内置的内存中。

  利用 Slab Allocation 机制来分配和管理内存。按照预先规定的大小,将分配的内存分割成特定长度的内存块,再把尺寸相同的内存块分成组,这些内存块不会释放,可以重复利用。

  当存入的数据占满内存空间时,Memcached 使用 LRU 算法自动删除不是用的缓存数据,即重用过期数据的内存空间。Memcached 是为缓存系统设计的,因此没有考虑数据的容灾问题,和机器的内存一样,重启机器将会丢失,如果希望服务重启数据依然能保留,那么就需要 sina 网开发的 Memcachedb 持久性内存缓冲系统,当然还有常见的 NOSQL 服务如 redis。

默认监听端口:11211

 

Memcached 安装

wget http://memcached.org/latest
tar -zxvf memcached-1.x.x.tar.gz
cd memcached-1.x.x
./configure && make && make test && sudo make install
 
PS:依赖libevent
       yum install libevent-devel
       apt-get install libevent-dev
# Memcached 服务安装

# 1、安装libevent
mkdir /home/oldsuo/tools/
cd /home/oldsuo/tools/
wget http://down1.chinaunix.net/distfiles/libevent-2.0.21-stable.tar.gz
ls libevent-2.0.21-stable.tar.gz
tar zxf libevent-2.0.21-stable.tar.gz
cd libevent-2.0.21-stable
./configure 
make && make install
echo $?
cd ..

# 2、安装Memcached
wget  http://memcached.org/files/memcached-1.4.24.tar.gz
tar zxf memcached-1.4.24.tar.gz
cd memcached-1.4.24
./configure
make
make install
echo $?
cd ..

# PS :
memcached-1.4.24.tar    -->客户端
memcached-1.4.24.tar.gz -->服务端

# 3、启动及关闭服务
echo "/usr/local/lib" >> /etc/ld.so.conf
ldconfig

# 查看帮助
/usr/local/bin/memcached –h

# 启动Memcached服务
memcached -p 11211 -u root -m 16m -c 10240 –d

# 查看启动状态
lsof -i :11211

# 关闭服务
pkill memcached
# memcached -p 11212 -u root -m 16m -c 10240 -d -P /var/run/11212.pid
# kill `cat /var/run/11212.pid`

# PS:开机自启动把上述启动命令放入/etc/rc.local
源码安装启动 Memcached 快速部署文档
# Memcached php 客户端安装

cd /home/oldsuo/tools/
wget http://pecl.php.net/get/memcache-3.0.7.tgz
tar zxf memcache-3.0.7.tgz
cd memcache-3.0.7
/application/php/bin/phpize
./configure --enable-memcahce --with-php-config=/application/php/bin/php-config --with-zlib-dir
make
make install

# 安装完成后会有类似这样的提示:
Installing shared extensions:     /application/php5.3.27/lib/php/extensions/no-debug-zts-20131226/
[root@localhost memcache-3.0.7]# ll /application/php5.3.27/lib/php/extensions/no-debug-zts-20131226/
total 1132
-rwxr-xr-x  1 root root 452913 Nov 17 16:52 memcache.so
-rwxr-xr-x. 1 root root 157862 Oct  9 21:01 mysql.so
-rwxr-xr-x. 1 root root 542460 Oct  9 19:25 opcache.so

# 编辑php.ini文件,添加extension = memcache.so 一行
vim /application/php/lib/php.ini
Extension_dir = "/application/php5.3.27/lib/php/extensions/no-debug-zts-20131226/"
extension = memcache.so

# 重启 apache 服务是PHP的配置生效
[root@localhost application]# /usr/local/apache/bin/apachectl -t
Syntax OK
[root@localhost application]# /usr/local/apache/bin/apachectl graceful
源码安装 Memcached PHP 客户端

Memcached 启动

memcached -d -m 10 -u root -l 218.97.240.118 -p 12000 -c 256 -P /tmp/memcached.pid
 
参数说明:
    -d 是启动一个守护进程
    -m 是分配给Memcache使用的内存数量,单位是MB
    -u 是运行Memcache的用户
    -l 是监听的服务器IP地址
    -p 是设置Memcache监听的端口,最好是1024以上的端口
    -c 选项是最大运行的并发连接数,默认是1024,按照你服务器的负载量来设定
    -P 是设置保存Memcache的pid文件

Memcached 命令

存储命令: set/add/replace/append/prepend/cas
获取命令: get/gets
其他命令: delete/stats..

 Memcached 管理

#1、telnet ip port 方式管理
telnet 127.0.0.1 11211

#2、命令直接操作,nc这样的命令
[root@localhost application]# printf "stats slabs\\r\\n"|nc 127.0.0.1 11211    
STAT active_slabs 0
STAT total_malloced 0
END

#3、管理 Memcached 命令
a、stats           统计Memcached的各种信息。
b、stats reset     重新统计数据,重新开始统计。
c、stats slabs     显示slabs信息。通过这命令能获取每个slabs的chunksize长度,从而确定数据保存在哪个slab。
d、stats items     显示slab中的item数目。
e、stats setting   查看一些Memcached设置,列如线程数….
f、stats slabs     查看slabs相关情况。
g、stats sizes     查看存在Item个数和大小。
h、stats cachedump 查看key value。
i、stats reset     清理统计数据。
j、set|get,gets    用来保存或获取数据。
# memadmin php 工具管理(memcadmin-1.0.12.tar.gz)

1、安装memadmin php工具。
cd /home/oldsuo/tools
wget http://www.junopen.com/memadmin/memadmin-1.0.12.tar.gz
tar zxf memadmin-1.0.12.tar.gz -C /usr/local/apache/htdocs/
ll /usr/local/apache/htdocs/memadmin/

2、 登陆memadmin php。
web方式访问:http://IP地址/memadmin/
默认用户名密码都为admin。
Memcached memadmin php工具界面化管理安装部署文档

 

2、Python 操作 Memcached 

1> 安装 API 及 基本操作

python 操作 Memcached 使用 Python-memcached 模块
下载安装:https://pypi.python.org/pypi/python-memcached

import memcache
 
mc = memcache.Client([\'192.168.1.5:12000\'], debug=True)
mc.set("foo", "bar")
ret = mc.get(\'foo\')
print ret

 

2> 天生支持集群

python-memcached 模块原生支持集群操作,其原理本质是在内存维护一个主机列表,数字为权重,为3即出现3次,相对应的几率大

mc = memcache.Client([
    (\'192.168.1.5:12000\', 3),        # 数字为权重
    (\'192.168.1.9:12000\', 1),
], debug=True)

# 那么在内存中主机列表为:
#    host_list = ["192.168.1.5","192.168.1.5","192.168.1.5","192.168.1.9",]

 

那么问题来了,集群情况下如何选择服务器存储呢?

如果要创建设置一个键值对(如:k1 = "v1"),那么它的执行流程如下:

  1. 将 k1 转换成一个数字
  2. 将数字和主机列表的长度求余数,得到一个值 N(N 的范围: 0 <= N < 列表长度 )
  3. 在主机列表中根据 第2步得到的值为索引获取主机,例如:host_list[N]
  4. 连接 将第3步中获取的主机,将 k1 = "v1" 放置在该服务器的内存中

获取值的话也一样

#!/usr/bin/env python
#-*- coding:utf-8 -*-
__author__ = \'Nick Suo\'

import binascii

str_input = \'suoning\'
str_bytes = bytes(str_input, encoding=\'utf-8\')
num = (((binascii.crc32(str_bytes) & 0xffffffff) >> 16) & 0x7fff) or 1
print(num)
源码、将字符串转换为数字

 

3> add

添加一个键值对,如果 key 已经存在,重复添加执行 add 则抛出异常

import memcache
 
mc = memcache.Client([\'192.168.1.5:12000\'], debug=True)
mc.add(\'k1\', \'v1\')
# mc.add(\'k1\', \'v2\') # 报错,对已经存在的key重复添加,失败!!!

 

4> replace

replace 修改某个 key 的值,如果 key 不存在,则异常

import memcache
 
mc = memcache.Client([\'192.168.1.5:12000\'], debug=True)
# 如果memcache中存在kkkk,则替换成功,否则一场
mc.replace(\'kkkk\',\'999\')

 

5> set 和 set_multi

set             设置一个键值对,如果 key 不存在,则创建
set_multi   设置多个键值对,如果 key 不存在,则创建

import memcache
 
mc = memcache.Client([\'192.168.1.5:12000\'], debug=True)
 
mc.set(\'name\', \'nick\')
mc.set_multi({\'name\': \'nick\', \'age\': \'18\'})

 

6> delete 和 delete_multi

delete              删除指定的一个键值对
delete_multi    删除指定的多个键值对

import memcache
 
mc = memcache.Client([\'192.168.1.5:12000\'], debug=True)
 
mc..delete(\'name\', \'nick\')
mc.delete_multi({\'name\': \'nick\', \'age\': \'18\'})

 

7> get 和 get_multi

get             获取一个键值对
get_multi   获取多个键值对

import memcache
 
mc = memcache.Client([\'192.168.1.5:12000\'], debug=True)
 
val = mc.get(\'name\')
item_dict = mc.get_multi(["name", "age",])

 

8> append 和 prepend

append    修改指定key的值,在该值 后面 追加内容
prepend   修改指定key的值,在该值 前面 插入内容

import memcache
 
mc = memcache.Client([\'192.168.1.5:12000\'], debug=True)
# 原始值: k1 = "v1"

mc.append(\'k1\', \'after\')
# k1 = "v1after"
 
mc.prepend(\'k1\', \'before\')
# k1 = "beforev1after"

 

9> decr 和 incr

incr  自增,将 Memcached 中的某个值增加 N ( N 默认为1 )
decr 自减,将 Memcached 中的某个值减少 N ( N 默认为1 )

import memcache
 
mc = memcache.Client([\'192.168.1.5:12000\'], debug=True)
mc.set(\'k1\', \'666\')
 
mc.incr(\'k1\')
# k1 = 667
 
mc.incr(\'k1\', 10)
# k1 = 677
 
mc.decr(\'k1\')
# k1 = 676
 
mc.decr(\'k1\', 10)
# k1 = 666

 

10> gets 和 cas

这两个方法就是传说中的  

为了避免脏数据的产生而生

import memcache
mc = memcache.Client([\'192.168.1.5:12000\'], debug=True, cache_cas=True)
 
v = mc.gets(\'product_count\')
# 如果有人在gets之后和cas之前修改了product_count,那下面的设置将会执行失败,剖出异常
mc.cas(\'product_count\', "899")

本质:每次执行 gets 时,就从 memcache 中获取一个自增的数字,通过 cas 去修改 gets 到的值时,会携带之前获取的自增值和 memcache 中的自增值进行比较,如果相等,则可以提交,如果不相等,那表示在 gets 和 cas 执行之间,又有其他人执行了 gets(获取了缓冲的指定值),如此一来有可能出现非正常的数据,则不允许修改,并报错。

 

 

二、redis

1、简介、安装、使用、实例

  Remote Dictionary Server(Redis)是一个基于 key-value 键值对的持久化数据库存储系统。redis 和 Memcached 缓存服务很像,但它支持存储的 value 类型相对更多,包括 string (字符串)、list (链表)、set (集合)、zset (sorted set --有序集合)和 hash(哈希类型)。这些数据类型都支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis 支持各种不同方式的排序。与 memcached 一样,为了保证效率,数据都是缓存在内存中。区别的是 redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了 master-slave (主从)同步。

  redis 的出现,再一定程度上弥补了 Memcached 这类 key-value 内存换乘服务的不足,在部分场合可以对关系数据库起到很好的补充作用。redis 提供了 Python,Ruby,Erlang,PHP 客户端,使用方便。

官方文档:http://www.redis.io/documentation

                http://www.redis.cn/

 

Redis 安装和使用实例

# Ubuntu 安装 redis
$ sudo apt-get install redis-server

# 启动服务端
$ sudo service redis-server {start|stop|restart|force-reload|status}

# 启动服务端
$ sudo redis-cli
# 源码安装
wget http://download.redis.io/releases/redis-3.0.6.tar.gz
tar xzf redis-3.0.6.tar.gz
cd redis-3.0.6
make

# 启动服务端
src/redis-server

# 启动客户端
src/redis-cli
# 检测后台进程是否存在
ps -ef |grep redis

# 检测6379端口是否在监听
netstat -lntp | grep 6379

# 客户端连接
$ sudo redis-cli
127.0.0.1:6379> set foo bar
OK
127.0.0.1:6379> get foo
"bar"
wget http://download.redis.io/releases/redis-3.0.5.tar.gz
tar zxf redis-3.0.5.tar.gz
cd redis-3.0.5
#less README
make MALLOC=jemalloc
make PREFIX=/application/redis-3.0.5 install        -->指定安装路径
echo $?
ln -s /application/redis-3.0.5/ /application/redis
redis 源码快速安装文档
[root@localhost redis-3.0.5]# tree /application/redis
/application/redis
`-- bin
    |-- redis-benchmark     # Redis性能测试工具,测试Redis在系统及你的配置下的读写性能。
    |-- redis-check-aof     # 更新日志检查。
    |-- redis-check-dump    # 用于本地数据库检查。
    |-- redis-cli           # Redis命令行操作工具。也可以telnet根据其纯文本协议操作
    |-- redis-sentinel -> redis-server
    `-- redis-server        # Redis服务器的daemon启动程序。
1 directory, 6 files
redis 安装目录及各文件作用
# 1、 配置环境变量
# 编辑vim /etc/profile添加一行
vim /etc/profile
export PATH=/application/redis/bin/:$PATH
tail -1 /etc/profile  -->检查    
source /etc/profile   -->生效

echo export PATH=/application/redis/bin/:$PATH >> /etc/profile
tail -1 /etc/profile
source /etc/profile


# 2、 拷贝配置文件
[root@localhost redis-3.0.5]# pwd
/home/oldSuo/tools/redis-3.0.5    -->解压目录
[root@localhost redis-3.0.5]# mkdir /application/redis/conf
[root@localhost redis-3.0.5]# cp redis.conf /application/redis/conf/

cd /home/oldSuo/tools/redis-3.0.5
mkdir /application/redis/conf
cp redis.conf /application/redis/conf/


# 3、 启动redis
redis-server /application/redis/conf/redis.conf &
lsof -i :6379

[root@localhost redis-3.0.5]# lsof -i :6379
COMMAND    PID USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
redis-ser 5876 root    4u  IPv6 793678202      0t0  TCP *:6379 (LISTEN)
redis-ser 5876 root    5u  IPv4 793678204      0t0  TCP *:6379 (LISTEN)


# 4、 关闭redis
redis-cli shutdown
lsof -i :6379    -->检查端口


#5、 启动常见报错
报错:WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add \'vm.overcommit_memory = 1\' to /etc/sysctl.conf and then reboot or run the command \'sysctl vm.overcommit_memory=1\' for this to take effect.
解决:    [root@localhost redis-3.0.5]# killall redis-server
         [root@localhost redis-3.0.5]# sysctl vm.overcommit_memory=1
         vm.overcommit_memory = 1
永久生效:[root@localhost conf]# vim /etc/sysctl.conf
添加一行vm.overcommit_memory = 1
配置并启动 redis 服务
[root@localhost conf]# redis-cli --help
[root@localhost conf]# redis-cli -h 192.168.200.95

[root@localhost conf]# redis-cli       
127.0.0.1:6379> help
redis-cli 3.0.5
Type: "help @<group>" to get a list of commands in <group>
      "help <command>" for help on <command>
      "help <tab>" to get a list of possible help topics
      "quit" to exit
127.0.0.1:6379> help get

  GET key
  summary: Get the value of a key
  since: 1.0.0
  group: string

127.0.0.1:6379> help set

  SET key value [EX seconds] [PX milliseconds] [NX|XX]
  summary: Set the string value of a key
  since: 1.0.0
  group: string

127.0.0.1:6379> set 007 oldSuo
OK
127.0.0.1:6379> get 007
"oldSuo"
127.0.0.1:6379>

或者
[root@localhost conf]# redis-cli -h 192.168.200.95 -p 6379 set no005 suoning
OK
[root@localhost conf]# redis-cli -h 192.168.200.95 -p 6379 get no005         
"suoning"

删除并检查
[root@localhost conf]# redis-cli del no005
(integer) 1
[root@localhost conf]# redis-cli get no005
(nil)
客户端连接命令及命令测试
# 1、下载安装
wget https://github.com/phpredis/phpredis/archive/master.zip

unzip phpredis-master.zip
cd phpredis-master
/application/php/bin/phpize
./configure --with-php-config=/application/php/bin/php-config
make
make install

[root@localhost phpredis-master]# make install
Installing shared extensions:     /application/php-5.6.8/lib/php/extensions/no-debug-non-zts-20131226/
[root@localhost phpredis-master]# cd /application/php-5.6.8/lib/php/extensions/no-debug-non-zts-20131226/
[root@localhost no-debug-non-zts-20131226]# ls
memcache.so  opcache.a  opcache.so  redis.so
[root@localhost no-debug-non-zts-20131226]#


# 2、修改php.ini设置,重启php
在php.ini追加一条记录
echo "extension = redis.so" >> /application/php/lib/php.ini

#重启 php-fpm
killall php-fpm
/application/php/sbin/php-fpm

#网页测试
......
redis 的 php 客户端拓展安装
# 1、修改从库redis.conf配置文件
#配置从库redis.conf配置文件(先装redis)
#添加一行,主库IP地址及端口
vim /application/redis/conf/redis.conf
# slaveof <masterip> <masterport>
slaveof 192.168.200.95 6379


# 2、重启从库redis服务
pkill redis
redis-server /application/redis/conf/redis.conf &

#启动提示
7815:S 23 Nov 19:48:52.059 # Server started, Redis version 3.0.5
7815:S 23 Nov 19:48:52.060 * The server is now ready to accept connections on port 6379
7815:S 23 Nov 19:48:53.060 * Connecting to MASTER 192.168.200.95:6379     -->跟主库建立连接
7815:S 23 Nov 19:48:53.060 * MASTER <-> SLAVE sync started                -->主从同步已经开始
7815:S 23 Nov 19:48:53.062 * Non blocking connect for SYNC fired the event.
7815:S 23 Nov 19:48:53.074 * Master replied to PING, replication can continue...      -->主从ping可以继续
7815:S 23 Nov 19:48:53.075 * Partial resynchronization not possible (no cached master)
7815:S 23 Nov 19:48:53.087 * Full resync from master: 24b26f7abc62830a7ff97516c960ba7fc0992da9:1
7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: receiving 32 bytes from master    -->接收到字节数
7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: Flushing old data
7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: Loading DB in memory
7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: Finished with success  -->成功


# 3、测试主从同步
# 主库:写数据
[root@localhost redis]# redis-cli 
127.0.0.1:6379> set test1 oldsuo
OK

# 从库:
[root@localhost conf]# redis-cli -h localhost -p 6379 monitor      -->开启实时监控
OK
1448280033.096372 [0 192.168.200.95:6379] "PING"
1448280043.125830 [0 192.168.200.95:6379] "PING"
1448280053.154134 [0 192.168.200.95:6379] "PING"
1448280070.858808 [0 192.168.200.95:6379] "SELECT" "0"
1448280070.858828 [0 192.168.200.95:6379] "set" "test1" "oldsuo"   -->主库添加数据,从库同步

[root@localhost redis]# redis-cli -h 192.168.200.92 get test1
"oldsuo"        -->从库同步成功
redis 主从同步
至于 redis 的负载均衡,方案有很多:
LVS、keepalived、Twemproxy
小编有时间再补上吧...
reidis 负载均衡
Redis持久化方式有两种:

(1)RDB

对内存中数据库状态进行快照

(2)AOF

把每条写命令都写入文件,类似mysql的binlog日志

RDB

将Redis在内存中的数据库状态保存到磁盘里面,RDB文件是一个经过压缩的二进制文件,通过该文件可以还原生成RDB文件时的数据库状态

RDB的生成方式:

(1)执行命令手动生成

有两个Redis命令可以用于生成RDB文件,一个是SAVE,另一个是BGSAVE

SAVE命令会阻塞Redis服务器进程,直到RDB文件创建完毕为止,在服务器进程阻塞期间,服务器不能处理任何命令请求

BGSAVE命令会派生出一个子进程,然后由子进程负责创建RDB文件,服务器进程(父进程)继续处理命令请求,创建RDB文件结束之前,客户端发送的BGSAVE和SAVE命令会被服务器拒绝

(2)通过配置自动生成

可以设置服务器配置的save选项,让服务器每隔一段时间自动执行一次BGSAVE命令

可以通过save选项设置多个保存条件,但只要其中任意一个条件被满足,服务器就会执行BGSAVE命令

例如:

save 900 1
save 300 10
save 60 10000

那么只要满足以下三个条件中的任意一个,BGSAVE命令就会被执行

服务器在900秒之内,对数据库进行了至少1次修改 
服务器在300秒之内,对数据库进行了至少10次修改 
服务器在60秒之内,对数据库进行了至少10000次修改

AOF

AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态的

AOF文件刷新的方式,有三种

(1)appendfsync always - 每提交一个修改命令都调用fsync刷新到AOF文件,非常非常慢,但也非常安全

(2)appendfsync everysec - 每秒钟都调用fsync刷新到AOF文件,很快,但可能会丢失一秒以内的数据

(3)appendfsync no - 依靠OS进行刷新,redis不主动刷新AOF,这样最快,但安全性就差

默认并推荐每秒刷新,这样在速度和安全上都做到了兼顾

数据恢复

RDB方式

RDB文件的载入工作是在服务器启动时自动执行的,没有专门用于载入RDB文件的命令,只要Redis服务器在启动时检测到RDB文件存在,它就会自动载入RDB文件,服务器在载入RDB文件期间,会一直处于阻塞状态,直到载入工作完成为止

AOF方式

服务器在启动时,通过载入和执行AOF文件中保存的命令来还原服务器关闭之前的数据库状态,具体过程:

(1)载入AOF文件

(2)创建模拟客户端

(3)从AOF文件中读取一条命令

(4)使用模拟客户端执行命令

(5)循环读取并执行命令,直到全部完成

如果同时启用了RDB和AOF方式,AOF优先,启动时只加载AOF文件恢复数据
redis 持久化

 

 

2、Python 操作 Redis

python 安装 redis 模块:

$ sudo pip install redis
or
$ sudo easy_install redis
or
$ sudo python setup.py install

详见:https://github.com/WoLpH/redis-py
https://pypi.python.org/pypi/redis
https://redislabs.com/python-redis

 

API 的使用

1> 操作模式

redis-py 提供两个类 Redis 和 StrictRedis 用于实现 Redis 的操作命令,StrictRedis 用于实现大部分官方的命令,并使用官方的语法和命令,Redis 是 StrictRedis 的子类,用于向后兼容旧版本的 redis-py

import redis
 
r = redis.Redis(host=\'192.168.1.5\', port=6379)
r.set(\'foo\', \'Bar\')
print r.get(\'foo\')

2> 连接池

redis-py 使用 connection pool 来管理对一个 redis server 的所有连接,避免每次建立、释放连接带来的额外开销。默认每个 Redis 实例都会维护着一个自己的连接池。也可以覆盖直接建立一个连接池,然后作为参数 Redis,这样就可以实现多个 Redis 实例共享一个连接池资源。实现客户端分片或有连接如何管理更细的颗粒控制。

pool = redis.ConnectionPool(host=\'192.168.1.5\', port=6379)
 
r = redis.Redis(connection_pool=pool)
r.set(\'foo\', \'Bar\')
print r.get(\'foo\')

3> 操作

分为五种数据类型,见下图:

① String 操作,String 在内存中格式是一个 name 对应一个 value 来存储

set(name, value, ex=None, px=None, nx=False, xx=False)

# 在Redis中设置值,默认,不存在则创建,存在则修改
# 参数:
     ex,过期时间(秒)
     px,过期时间(毫秒)
     nx,如果设置为True,则只有name不存在时,当前set操作才执行
     xx,如果设置为True,则只有name存在时,岗前set操作才执行

setnx(name, value)

# 设置值,只有name不存在时,执行设置操作(添加)

setex(name, value, time)

# 设置值
# 参数:
     time,过期时间(数字秒 或 timedelta对象)

psetex(name, time_ms, value)

# 设置值
# 参数:
     time_ms,过期时间(数字毫秒 或 timedelta对象)

mset(*args, **kwargs)

# 批量设置值
# 如:
    mset(k1=\'v1\', k2=

以上是关于缓存队列(MemcachedredisRabbitMQ)的主要内容,如果未能解决你的问题,请参考以下文章

基于信号量与环形队列实现读写异步缓存队列

DelayQueue延迟队列-实现缓存

双缓存静态循环队列

异步IO数据库队列缓存

高并发缓存队列防止溢出解决方案

Redis 不谈缓存和队列