Redis的内存

Posted 2020-12-05

内存使用统计

127.0.0.1:6379> INFO memory

# Memory

used_memory:87057136

used_memory_human:83.02M

used_memory_rss:22122496

used_memory_rss_human:21.10M

used_memory_peak:87057136

used_memory_peak_human:83.02M

total_system_memory:1027096576

total_system_memory_human:979.52M

used_memory_lua:37888

used_memory_lua_human:37.00K

maxmemory:134217728

maxmemory_human:128.00M

maxmemory_policy:allkeys-lru

mem_fragmentation_ratio:0.25

mem_allocator:jemalloc-4.0.3

重点关注：

used_memory，Redis内部存储数据的内存占用量。

used_memory_rss，从操作系统角度看，Redis占用的物理内存总量。

used_memory_rss-used_memory，多出来的内存被碎片消耗。

Redis内存消耗主要包括：缓冲内存，子进程，Redis进程自身，存储数据对象和内存碎片，主要看前两者。

缓冲内存

1.客户端缓冲

指所有接入到Redis服务器的TCP连接的输入输出缓冲。

输入缓冲无法控制，最大空间1G，若超过，将断开连接。

输出缓冲有3类：普通客户端，从客户端和订阅客户端，大小通过参数client-output-buffer-limit控制。一般普通客户端内存消耗可以忽略不计，但当有大量慢连接客户端接入时，就要关注这部分内存了。

client-output-buffer-limit normal 0 0 0

client-output-buffer-limit slave 256mb 64mb 60

client-output-buffer-limit pubsub 32mb 8mb 60

2.复制积压缓冲

#define CONFIG_DEFAULT_REPL_BACKLOG_SIZE (1024*1024) /* 1mb */

对于主节点只有一个复制积压缓冲区，所有从节点共享该缓冲区，默认1MB，可设置较大的缓冲区（repl-backlog-size），有效避免全量复制。

3.AOF缓冲

sds aof_buf; /* AOF buffer, written before entering the event loop */

list *aof_rewrite_buf_blocks; /* Hold changes during an AOF rewrite. */

开启AOF时，命令会先append进入aof_buf缓冲区中，在aof_buf缓冲区中根据appendfsync指定的策略刷新到磁盘。

当触发AOF重写时，主进程fork操作后，依然响应命令，Redis使用aof_rewrite_buf_blocks缓冲区保存这部分新数据，防止新AOF文件生成期间丢失这部分数据。

4.子进程内存消耗

子进程内存消耗主要是指在RDB快照/AOF重写时，Redis创建子进程消耗的内存。为了保证该过程顺畅，注意两点。

a.关闭Linux内核的Transparent Huge Pages机制(echo never > /sys/kernel/mm/transparent_hugepage/enabled)，防止copy-on-write期间内存过度消耗。

b.设置vm.overcommit_memory=1，允许内核可以分配所有的物理内存，防止Redis进行fork时内存不足而失败。

内存管理

Redis是通过控制内存上限，和回收策略实现内存管理的。

1.设置内存上限(maxmemory <bytes>)

使用maxmemory参数限制最大可用内存，其限制的是Redis实际使用的内存量，即used_memory统计项值。由于内存碎片，实际消耗的内存可能比maxmemory设置的大，使用时要小心这部分内存溢出。 另可通过CONFIG SET maxmemory <bytes>动态调整内存上限。

2.内存回收策略，体现在，删除达到过期时间的键对象，和内存使用达到maxmemory上限触发内存溢出控制策略。

2.1删除到达过期时间的键对象

a.被动方式

当用户读取带有超时属性的键时，若已超过键设置的超时时间，会执行删除操作并返回空。当过期键一直没有被访问时，会由主动方式将其删除。

b.主动方式

Redis会定期进行下面的操作(通过hz设置频率)。

1.定期随机对20个键进行过期检测。

2.删除过期的键。

3.如果多于25%的键过期，重复步骤1。

2.2内存溢出控制策略

当Redis使用内存达到maxmemory上限时会触发溢出控制策略，共有6种策略，由参数maxmemory-policy控制。

volatile-lru -> remove the key with an expire set using an LRU algorithm

allkeys-lru -> remove any key according to the LRU algorithm

volatile-random -> remove a random key with an expire set

allkeys-random -> remove a random key, any key

volatile-ttl -> remove the key with the nearest expire time (minor TTL)

noeviction -> don't expire at all, just return an error on write operations

对于Redis用于缓存业务，一般使用allkeys-lru策略；用于存储业务，使用noeviction策略。

若感兴趣可关注订阅号”数据库最佳实践”(DBBestPractice).