Redis内存碎片优化参数

Posted 君要上天么

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Redis内存碎片优化参数相关的知识,希望对你有一定的参考价值。

info memory参数简介

    used_memory_human:262.89M
    used_memory_rss:267489280
    mem_fragmentation_ratio:0.97

(Redis在编译时便会指定内存分配器;内存分配器可以是 libc 、jemalloc或者tcmalloc,默认是jemalloc。)

used_memory:Redis分配器分配的内存总量(单位是字节),包括使用的虚拟内存(即swap);used_memory_human:以人类可读的格式返回 Redis 分配的内存总量。
used_memory_rss:Redis进程占据操作系统的内存(单位是字节),与top及ps命令看到的值是一致的;除了分配器分配的内存之外,used_memory_rss还包括进程运行本身需要的内存、内存碎片等,但是不包括虚拟内存。

因此,used_memory和used_memory_rss,前者是从Redis角度得到的量,后者是从操作系统角度得到的量。二者之所以有所不同,一方面是因为内存碎片和Redis进程运行需要占用内存,使得前者可能比后者小,另一方面虚拟内存的存在,使得前者可能比后者大。

Redis内存碎片率的参数 mem_fragmentation_ratio:由于在实际应用中,Redis的数据量会比较大,此时进程运行占用的内存与Redis数据量和内存碎片相比,都会小得多,ratio指数>1表明有内存碎片,越大表明越多,<1表明正在使用虚拟内存,虚拟内存其实就是硬盘,性能比内存低得多,这是应该增强机器的内存以提高性能。一般来说,mem_fragmentation_ratio的数值在1 ~ 1.5之间是比较健康的。

内存碎片清理方法

1、重启Redis服务;

2、使用指令来手动回收内存碎片。

自动内存碎片整理相关参数

    config set activedefrag yes 自动(实时)碎片整理

允许Redis服务器压缩内存中小数据分配和数据释放之间的空间,从而允许回收内存,官方默认设置内存碎片率大于10%且内存碎片大小超过100mb开始回收。

    #Enabled active defragmentation
    #碎片整理总开关
    #activedefrag yes

    #Minimum amount of fragmentation waste to start active defrag
    #当碎片达到 100mb 时,开启内存碎片整理
     active-defrag-ignore-bytes 100mb

    #Minimum percentage of fragmentation to start active defrag
    #当碎片超过 10% 时,开启内存碎片整理
    active-defrag-threshold-lower 10

    #Maximum percentage of fragmentation at which we use maximum effort
    #内存碎片超过 100%,则尽最大努力整理
    active-defrag-threshold-upper 100

    #Minimal effort for defrag in CPU percentage
    #内存自动整理占用资源最小百分比
    active-defrag-cycle-min 25

    #Maximal effort for defrag in CPU percentage
    #内存自动整理占用资源最大百分比
    active-defrag-cycle-max 75

PS:自动内存回收会使Redis集群的响应变高,因为内存碎片整理是在主线程中执行的,通过源码发现,内存碎片整理操作会 scan (通过迭代进行)整个 redis 节点,并进行内存复制、转移等操作,因为 redis 是单线程的,所以会导致 redis 性能下降(通过调整相关配置可以控制内存整理对 redis 集群的影响)。

参数详细介绍:

(1)调整active-defrag-ignore-bytes和active-defrag-threshold-lower

当两个条件都满足时,则会进入内存碎片整理逻辑,这两个参数仅用来判断是否进入内存碎片整理逻辑,如果将碎片率或碎片大小调大至一个能接受的阈值,redis 不进行内存碎片整理,则不会对集群有过多的影响(注:frag_pct 是从 jemalloc 获取的,不能完全依靠info中获取的碎片值)。

(2)调整active-defrag-cycle-min和active-defrag-cycle-max

这两个参数是占用主线程资源比率的上下限,如果想保证内存碎片整理功能不过度影响 redis 集群性能,则需要仔细斟酌着两个参数的配置,通过观察内存整理时的耗时、资源占用、redis响应等情况发现,当资源占用越多时,内存碎片整理力度越大,时间越短,当然对redis性能的影响也更大。

总结:通过active-defrag-ignore-bytes和active-defrag-threshold-lower来控制是否进行内存碎片整理,通过active-defrag-cycle-min和active-defrag-cycle-max来控制整理内存碎片的力度。

以上是关于Redis内存碎片优化参数的主要内容,如果未能解决你的问题,请参考以下文章

关于redis内存分析,内存优化

记一次Redis的内存碎片比过高的解决

Redis内存碎片深入分析

Redis内存碎片深入分析

Redis的内存和实现机制

redis线上部署规划