memcached

Posted lijianming180

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了memcached相关的知识，希望对你有一定的参考价值。

nginx+memcached

nginx的memcached_module模块可以直接从memcached服务器中读取内容后输出，后续的请求不再经过应用程序处理，如php-fpm、django，大大的提升动态页面的速度。nginx只负责从memcached服务器中读取数据，要往memcached写入数据还得需要后台的应用程序来完成，主动的将要缓存的页面缓存到memcached中，可以通过404重定向到后端去处理的。

技术图片

整个请求的用户通过上图可得做，nginx可以先从memcached缓存先获取数据，，但缓存没有命中的时候rewrite到去请求去获取资源并缓存到memcached。

memcached

在memcached内存分配之前，先说下linux内存管理管理中用到的两种避免内存碎片的机制。

  • Buddy system
    伙伴系统避免内存外的碎片，linux内核分配内存的方式是按照页框（默认4k大小）进行的，由于页框大小是4k，而很多信息打开需要用到几个页框，外碎片就是指内核想找一个大页框来存储某些信息时都无法找到，而buddy system就是会自动将相邻的页框合并成连续的大空间的一种机制。

  • Slab allocator
    slab分配器避免内存内的碎片，linux内核分配内存的方式是按照页框(默认4k大小)进行的，由于页框大小是4k，而在linux系统中很多信息打开时都不需要用到一个页框，如inode的描述信息，slab allocator的基本原理是按照预先固定的大小，将页框分配成特定结构存储大小数据而不销毁页框而是重复使用，随时申请随时使用，解决内存内的碎片问题。

memcached内存分配机制

memcached默认采用slab allocator的机制分配、管理内存。memcached解决的最大的一个问题就是内存多次读取时内存碎片问题，memcached启动进程的时候就按照预先设定好的大小(默认64m)，在内存开辟出一段连续的内存空间，之后再将这段内存分成不同的片段。就是预先将memcached分配的内存划分成一系列slab，每个slab只负责一定范围内的数据存储，其实就是在slab这个空间内把内存分成尺寸相同的chunk，如下图：

技术图片

memcached分配内存是在总大小64M(默认)中分成一组组的slab，每一个slab有特定的大小的chunk存储单元。比如上图第一个slab内存存放的都是88字节的存储单元，第二个是112字节，从此类推，一直把64M内存分配完。memcached默认情况下下一个slab的最大值是前一个的1.25倍(增长因子)，但是每个slab之间的增长因子是管理员在启动memcached时可以设定的。

由上可知，memcached中的chunk是用来真正的存储数据的，而slab是用来管理一组特定大小的chunk的组，对于chunk来说，最小可以到48字节，最大默认1m，那么memcached是如何存储数据的，每个slab只储存只储存大于其上一个slab chunk的大小其上一个slab chunk的大小并小于或者等于自己最大的chunk的数据。比如chunk size是144byte，而储存的数据只有120byte，剩下的24byte就被浪费了。

memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况， 此时就要使用名为Least Recently Used（LRU）机制来分配空间。 顾名思义，这是删除“最近最少使用”的记录的机制。 因此，当memcached的内存空间不足时（无法从slab class 获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。 从缓存的实用角度来看，该模型十分理想。不过，有些情况下LRU机制反倒会造成麻烦。memcached启动时通过“-M”参数可以禁止LRU。

memcached常用的选项

  • -l [ip_addr] :指定进程监听的地址
  • -d：以服务模式运行
  • -u [username]: 以指定的用户身份运行memcached进程
  • -m [num]: 用户缓存数据的最大内存空间，单位为mb，默认为64mb
  • -c [num]: 用于支持最大的并发连接数，默认为1024
  • -p [num]: 指定监听的tcp端口，默认为11211:
  • -U [num]: 指定监听的udp，默认为11211，0表示关闭udp端口
  • -t [threads]: 用于处理入站请求的最大线程数，仅在memcached编译时开启了支持线程才有效
  • -f [factor]: 设定slab allocator定义预先分配内存空间大小固定的块时使用的增长因子
  • -n 指定最小的slab chunk大小，单位字节
  • -M; 当内存空间不够时返回错误信息，而不是按LRU算法利用空间
  • -S:启用sasl
1
2
3
4
5
6
7
8
9
10
11
12
13
~]# memcached -u nobody -d -m 1024 -vv
slab class   1: chunk size        96 perslab   10922
slab class   3: chunk size       152 perslab    6898
slab class   4: chunk size       192 perslab    5461
slab class   5: chunk size       240 perslab    4369
slab class   6: chunk size       304 perslab    3449
slab class   7: chunk size       384 perslab    2730
slab class   8: chunk size       480 perslab    2184
slab class   9: chunk size       600 perslab    1747
slab class  10: chunk size       752 perslab    1394
slab class  11: chunk size       944 perslab    1110
slab class  12: chunk size      1184 perslab     885
...

memcached常用的命令：

  • 统计类
    stats；stats items
  • 存储类命令
    set；add；replace；append；prepend
    set key flag timeout datasize
  • 获取数据类
    get；delete；incr；decr
  • 清空
    flush_all
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38大专栏  memcachediv>
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
~]# telnet 127.0.0.1 11211
stats
STAT pid 27323
STAT uptime 153
STAT time 1495641161
STAT version 1.4.15
STAT libevent 2.0.21-stable
STAT pointer_size 64
STAT rusage_user 0.000000
STAT rusage_system 0.013679
STAT curr_connections 10
STAT total_connections 11
STAT connection_structures 11
STAT reserved_fds 20
STAT cmd_get 0
STAT cmd_set 0
STAT cmd_flush 0
STAT cmd_touch 0
STAT get_hits 0
STAT get_misses 0
STAT delete_misses 0
STAT delete_hits 0
STAT incr_misses 0
STAT incr_hits 0
STAT decr_misses 0
STAT decr_hits 0
STAT cas_misses 0
STAT cas_hits 0
STAT cas_badval 0
STAT touch_hits 0
STAT touch_misses 0
STAT auth_cmds 0
STAT auth_errors 0
STAT bytes_read 9
STAT bytes_written 7
STAT limit_maxbytes 1073741824
STAT accepting_conns 1
STAT listen_disabled_num 0
STAT threads 4
STAT conn_yields 0
STAT hash_power_level 16
STAT hash_bytes 524288
STAT hash_is_expanding 0
STAT bytes 0
STAT curr_items 0
STAT total_items 0
STAT expired_unfetched 0
STAT evicted_unfetched 0
STAT evictions 0
STAT reclaimed 0
END
set first 0 30 11
hello world
STORED
get first
VALUE first 0 11
hello world
END
add a 0 300 1
1
STORED
incr a 10
11
stats items
STAT items:1:number 2
STAT items:1:age 319
STAT items:1:evicted 0
STAT items:1:evicted_nonzero 0
STAT items:1:evicted_time 0
STAT items:1:outofmemory 0
STAT items:1:tailrepairs 0
STAT items:1:reclaimed 1
STAT items:1:expired_unfetched 0
STAT items:1:evicted_unfetched 0
END

nginx+memcached

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
server {
	listen 8080;
	server_name cache.jusene.me;
	index index.html index.html index.php;
	root /data/www/public;
	location / {
		set $memcached_key $uri;
		add_header X-mem-key $memcached_key;
		memcached_pass 127.0.0.1:11211;
		default_type text/html;
		error_page 404 502 504 = @fallback;
	}
	location @fallback {
		proxy_pass 127.0.0.1:80;
	}
}

php共享会话

一、配置php将会话保存至memcached中

编辑php.ini文件，确保如下两个参数的值分别如下所示：
session.save_handler = memcached
session.save_path = “tcp://127.0.0.1:11211?persistent=1&weight=1&timeout=1&retry_interval=15”

二、测试

新建php页面setsess.php，为客户端设置启用session：

1
2
3
4
5
6
7
8
9
<?php
session_start();
if (!isset($_SESSION['www.jusene.com'])) {
  $_SESSION['www.jusene.com'] = time();
}
print $_SESSION['www.jusene.com'];
print "<br><br>";
print "Session ID: " . session_id();
?>

新建php页面showsess.php，获取当前用户的会话ID：

1
2
3
4
5
6
7
8
<?php
session_start();
$memcache_obj = new Memcache;
$memcache_obj->connect('127.0.0.1', 11211);
$mysess=session_id();
var_dump($memcache_obj->get($mysess));
$memcache_obj->close();
?>

以上是关于memcached的主要内容，如果未能解决你的问题，请参考以下文章

九爷 带你了解 Memcache工作原理总结

如何在 Django 中显式重置模板片段缓存？

Memcached源代码分析 - Memcached源代码分析之消息回应

Memcached的配置，SSH项目中的整合(com.whalin)，Memcached工具类，Memcached的代码调用

memcached 源代码安装

实验Memcached Server远程代码执行漏洞