分布式memcached学习——memcached内存管理机制

Posted 2020-07-31 学习、改良、极致

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了分布式memcached学习——memcached内存管理机制相关的知识，希望对你有一定的参考价值。

几个重要概念

Slab

memcached通过slab机制进行内存的分配和回收，slab是一个内存块，它是memcached一次申请内存的最小单位，。在启动memcached的时候一般会使用参数-m指定其可用内存，但是并不是在启动的那一刻所有的内存就全部分配出去了，只有在需要的时候才会去申请，而且每次申请一定是一个slab。Slab的默认大小为1MB（1MB=1024KB=1024×1024B=1048576B，1048576字节），一个slab由若干个大小相等的chunk组成。

Slab的分类

根据chunk的大小而将Slab分为不同的类，chunk大小的增幅由增长因子factor决定。根据memcached版本的不同而分类也各有不同，-vv查询分类。

Chunk

chunk是Slab的组成单位，每个Slab都被分割成大小相等的chunk，分割Slab时，不够一个chunk大小的内存空间将被不可以避免的浪费（内存碎片化）。每个chunk中都保存了一个item结构体，item结构体由属性域和数据域组成，数据域中有一个变长数据data，是真正存储缓存记录key和value的地方。

图memcached Slab 分类示意图

源码

typedef struct _stritem {

//属性域

struct _stritem *next;

struct _stritem *prev;

......

//数据域

union {

uint64_t cas;

char end;

} data[];

} item;

Chunk的计算

对于Slab 分类 i，求Slab 分类 i中的chunk的大小：

chunkSize = (default_size + item_size)*f^(i-1) + CHUNK_ALIGN_BYTES

各参数含义：

l i，分类

l default_size，默认大小为48字节，也就是item结构体中数据域的大小为48字节，可以通过-n参数来调节其大小

l item_size， item结构体的长度，固定为32字节

l f，factor，增长因子，是chunk变化大小的因素，默认值为1.25，调节f可以改变chunk的增幅，在启动时可以使用-f来指定

l CHUNK_ALIGH_BYTES 是一个长常量值，用来保证chunk的大小是这个常量值的整数倍，防止越界。CHUNK_ALIGH_BYTES 大小为sizeof(void *)

例如：void *的长度在不同系统上不一样，在32位机器上，sizeof(void *)值为4

所以，在32为的系统中，Slab 分类1中chunk的大小为：

chunkSize1 = (48 + 32)* 1.25^(1-1) + 4 = 84（有待验证）

从chunkSize的计算公式可以看出，可以通过调节-n，-f参数来调整chunk的大小，这也是实际中mecahced调优的关键，合理的调节-n，-f参数以充分利用内存资源，尽可能的减少内存碎片化。

内存分配

当我们通过add命令向memcached中添加一条记录的时候，memcached会根据数据的大小选择合适的slab，memcached维护着slab中空闲的chunk列表，并从中选择一块分配给要添加的记录。

如要存的item大小为100byte，chunk大小为80byte的slab将存不下，而chunk大小为120byte的slab又有剩余，此时memcached会将数据存到chunk大小为120byte的slab中。而剩余的20byte空间将不可避免的浪费。

需要注意的是，当chunk大小为120byte的slab已经满时，memcached并不会寻找更大chunk的slab，如chunk大小为140byte的slab来存储，而是把chunk大小为120byte的slab中的旧数据踢掉。

增长因子调优

memcached 在启动时可以通过f 选项指定增长因子，默认为1.25。增长因子的不同，chunk大小也不同，应根据实际情况，指定合理的增长因子避免过多的内存空间浪费。

过期数据惰性删除

Memcached中，当某个chunk 中的数据过期后，并不会马上从内存中删除，因此，使用stats 统计时，curr_item 中仍然有其信息，直到新的数据占用该chunk ；当试图去get改数据时，先判断是否过期，如果过期则返回空并清空chunk，curr_item减1。过期数据不会马上删除，这种机制称为lazy expiration，即惰性失效，好处是不需要另外去检查数据是否失效，节省了CUP的检测成本。