python操作memcached

Posted 2020-11-06 Quartzite

 

简介

Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。

特点
memcached作为高速运行的分布式缓存服务器，具有以下的特点。
· 协议简单
· 基于libevent的事件处理
· 内置内存存储方式
· memcached不互相通信的分布式
· 为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中，因此重启memcached、重启操作系统会导致全部数据消失。另外，内容容量达到指定值之后，就基于LRU(Least Recently Used)算法自动删除不使用的缓存。memcached本身是为缓存而设计的服务器，因此并没有过多考虑数据的永久性问题。

 

安装memcached

wget http://memcached.org/latest
memcached-1.5.7.tar.gz
tar zxf memcached-1.5.7.tar.gz
cd memcached-1.5.7
./configure && make && make test && make install

 

安装memcached的python客户端

pip install python-memcached

 

启动memcached

memcached -d -m 10 -u root -l 127.0.0.1 -p 12000 -c 256 -P /var/log/memcache/memcache.pid

参数详解：
-p 指定端口号（默认11211）  
-m 指定最大使用内存大小（默认64MB）  
-t 线程数（默认4）  
-l 连接的IP地址, 默认是本机  
-d 以后台守护进程的方式启动
-c 最大同时连接数，默认是1024
-P 制定memecache的pid文件
-h 打印帮助信息

 

支持集群

python-memcachd模块原生支持集群操作，其原理是在内存维护一个主机列表，且集群中主机的权重值和主机在列表中重复出现的次数成正比。
主机 权重
1.1.1.1 1
1.1.1.2 2
1.1.1.3 1

#那么在内存中主机列表为：
host_list=[‘1.1.1.1‘,‘1.1.1.2‘,‘1.1.1.2‘,‘1.1.1.3‘,]

 

python操作memcache集群

mc = memcache.Client([(‘1.1.1.1:12000‘, 1), (‘1.1.1.2:12000‘, 2), (‘1.1.1.3:12000‘, 1)], debug=True)
mc.set(‘k1‘, ‘v1‘)

 

Memcache常用操作

存储命令： set、add、replace、append、prepend、cas
获取命令： get、gets
其他命令： delete、stats

 

add方法

import memcache
mc = memcache.Client([‘192.168.48.128:11211‘], debug=True)
# mc.set("foo", "bar")
# ret = mc.get("foo")
mc.add(‘k1‘,‘v1‘)
mc.add(‘k1‘,‘v1‘)
print(ret)

 

replace方法

replace修改某个key的值，如果key不存在，则异常。

import memcache
mc = memcache.Client([‘192.168.48.128:11211‘], debug=True)
# mc.set("foo", "bar")
# ret = mc.get("foo")
mc.add(‘k1‘,‘v1‘)
# mc.add(‘k1‘,‘v1‘)
# print(ret)
mc.replace("k1", "hello")
print(mc.get("k1"))
结果：
hello

 

set和set_multi方法

set ：设置一个键值对，如果key不存在，则创建，如果key存在，则修改；
set_multi：设置多个键值对，如果key不存在，则创建，如果key存在，则修改。

import memcache

mc = memcache.Client([‘192.168.48.128:11211‘], debug=True)
mc.set("k10", "v10")
mc.set_multi({"k11": "v11", "k12": "v12"})

 

set方法和add方法的区别

set = add + replace

 

delete和delete_multi方法

delete：在Memcached中删除指定的一个键值对；
delete_multi：在Memcached中删除指定的多个键值对。

import memcache

mc = memcache.Client([‘192.168.48.128:11211‘], debug=True)
# mc.set("k10", "v10")
# mc.set_multi({"k11": "v11", "k12": "v12"})
#
mc.delete("k10")
mc.delete_multi(["k11", "k12"])

 

get和get_multi方法

get : 获取一个键值对；
get_multi：获取多个键值对。

import memcache
mc = memcache.Client([‘192.168.48.128:11211‘], debug=True)
mc.set("k10", "v10")
mc.set_multi({"k11": "v11", "k12": "v12"})
val = mc.get(‘k1‘)
print(val)
 
item_dict = mc.get_multi([‘k11‘, ‘k12‘])
print(item_dict)

 

append和prepend方法

append：修改指定key的值，在该值后面追加内容；
prepend：修改指定key的值，在该值前面插入内容。

import memcache
mc = memcache.Client([‘127.0.0.1:12000‘], debug=True)
mc.append(‘k1‘,‘after‘)
val1 = mc.get(‘k1‘)
print(val1)
mc.prepend(‘k1‘,‘brefore‘)
val2 = mc.get(‘k1‘)
print(val2)
#结果：
v1afterafter
breforev1afterafter

 

stats

查看历史操作

 

gets 和 cas

使用缓存系统共享数据资源就必然绕不开数据争夺和脏数据（数据混乱）的问题。
假设商城某件商品的剩余个数保存在memcache中，product_count = 900
A用户刷新页面从memecache中读取到product_count = 900
B用户刷新页面从memecache中读取到product_count = 900
A,B用户均购买商品，并修改product_count的值
A修改后，product_count = 899
B修改后，product_count = 899
然而正确数字应该是898，数据就混乱了。
如果想要避免这种情况的发生，则可以使用 gets　和　cas
注意： 要在Client中增加cache_cas参数

import memcache

mc = memcache.Client([‘192.168.48.131‘],cache_cas=True)
mc.set(‘count‘,"100")
print(mc.gets("count"))
# mc.set("count", ‘1000‘)
result = mc.cas("count", "99")
print(result)
print(mc.get("count"))

 

总结

import memcache

mc = memcache.Client([‘192.168.48.136:12000‘])
print(mc)
mc.set("aaa", "hello world")
print(mc.get("aaa"))

# set(key, value)
# get(key)
# repalce(key, new_value)
# set = add + replace()
# delete(key)
# get_multi([k1, k2, k3])
# delete_multi([k1, k2, k3])
# set_multi({"k1": "v1", "k2": "v2"})
# append(k, appendvalue)
# prepend(k, prependvalue)
mc.add("mctestadd", "nihaoma")
print(mc.get("mctestadd"))
mc.append("aaa", " 321")
print(mc.get("aaa"))
mc.prepend("aaa", "123 ")
print(mc.get("aaa"))
print(mc.stats)