Redis内存碎片优化参数

Posted 2021-03-04 君要上天么

info memory参数简介

    used_memory_human:262.89M
    used_memory_rss:267489280
    mem_fragmentation_ratio:0.97

（Redis在编译时便会指定内存分配器；内存分配器可以是 libc 、jemalloc或者tcmalloc，默认是jemalloc。）

used_memory：Redis分配器分配的内存总量（单位是字节），包括使用的虚拟内存（即swap）；used_memory_human：以人类可读的格式返回 Redis 分配的内存总量。
used_memory_rss：Redis进程占据操作系统的内存（单位是字节），与top及ps命令看到的值是一致的；除了分配器分配的内存之外，used_memory_rss还包括进程运行本身需要的内存、内存碎片等，但是不包括虚拟内存。

因此，used_memory和used_memory_rss，前者是从Redis角度得到的量，后者是从操作系统角度得到的量。二者之所以有所不同，一方面是因为内存碎片和Redis进程运行需要占用内存，使得前者可能比后者小，另一方面虚拟内存的存在，使得前者可能比后者大。

Redis内存碎片率的参数 mem_fragmentation_ratio：由于在实际应用中，Redis的数据量会比较大，此时进程运行占用的内存与Redis数据量和内存碎片相比，都会小得多，ratio指数>1表明有内存碎片，越大表明越多，<1表明正在使用虚拟内存，虚拟内存其实就是硬盘，性能比内存低得多，这是应该增强机器的内存以提高性能。一般来说，mem_fragmentation_ratio的数值在1 ~ 1.5之间是比较健康的。

内存碎片清理方法

1、重启Redis服务；

2、使用指令来手动回收内存碎片。

自动内存碎片整理相关参数

    config set activedefrag yes 自动（实时）碎片整理

允许Redis服务器压缩内存中小数据分配和数据释放之间的空间，从而允许回收内存，官方默认设置内存碎片率大于10%且内存碎片大小超过100mb开始回收。

    #Enabled active defragmentation
    #碎片整理总开关
    #activedefrag yes

    #Minimum amount of fragmentation waste to start active defrag
    #当碎片达到 100mb 时，开启内存碎片整理
     active-defrag-ignore-bytes 100mb

    #Minimum percentage of fragmentation to start active defrag
    #当碎片超过 10% 时，开启内存碎片整理
    active-defrag-threshold-lower 10

    #Maximum percentage of fragmentation at which we use maximum effort
    #内存碎片超过 100%，则尽最大努力整理
    active-defrag-threshold-upper 100

    #Minimal effort for defrag in CPU percentage
    #内存自动整理占用资源最小百分比
    active-defrag-cycle-min 25

    #Maximal effort for defrag in CPU percentage
    #内存自动整理占用资源最大百分比
    active-defrag-cycle-max 75

PS：自动内存回收会使Redis集群的响应变高，因为内存碎片整理是在主线程中执行的，通过源码发现，内存碎片整理操作会 scan （通过迭代进行）整个 redis 节点，并进行内存复制、转移等操作，因为 redis 是单线程的，所以会导致 redis 性能下降（通过调整相关配置可以控制内存整理对 redis 集群的影响）。

参数详细介绍：

（1）调整active-defrag-ignore-bytes和active-defrag-threshold-lower

当两个条件都满足时，则会进入内存碎片整理逻辑，这两个参数仅用来判断是否进入内存碎片整理逻辑，如果将碎片率或碎片大小调大至一个能接受的阈值，redis 不进行内存碎片整理，则不会对集群有过多的影响（注：frag_pct 是从 jemalloc 获取的，不能完全依靠info中获取的碎片值）。

（2）调整active-defrag-cycle-min和active-defrag-cycle-max

这两个参数是占用主线程资源比率的上下限，如果想保证内存碎片整理功能不过度影响 redis 集群性能，则需要仔细斟酌着两个参数的配置，通过观察内存整理时的耗时、资源占用、redis响应等情况发现，当资源占用越多时，内存碎片整理力度越大，时间越短，当然对redis性能的影响也更大。

总结：通过active-defrag-ignore-bytes和active-defrag-threshold-lower来控制是否进行内存碎片整理，通过active-defrag-cycle-min和active-defrag-cycle-max来控制整理内存碎片的力度。