redis虚拟内存

Posted 2021-01-01 虚无缥缈的云

对于redis 这样的内存数据库， 内存总是不够用的。 除了可以将数据分割到多个 redis 服务器以外。 另外的能够提高数据库容量的办法就是使用虚拟内存技术把那些不经常访问的数据交换到磁盘上

如果我们存储的数据总是有少部分数据被经常访问，大部分数据很少被访问， 对于网站来说确实总是只有少量用户经常活跃。 当少量数据被经常访问时， 使用虚拟内存不但能提高单台 redis 数据库服务器的容量，而且也不会对性能造成太多影响。

redis 没有使用操作系统提供的虚拟内存机制而是自己在用户态实现了自己的虚拟内

存机制。
主要的理由有以下两点：
1. 操作系统的虚拟内存是以 4k/页为最小单位进行交换的。而 redis 的大多数对象都远小
于 4k，所以一个操作系统页上可能有多个 redis 对象。另外 redis 的集合对象类型如
list,set 可能存在于多个操作系统页上。最终可能造成只有 10%的 key 被经常访问，但
是所有操作系统页都会被操作系统认为是活跃的，这样只有内存真正耗尽时操作系统才
会进行页的交换。
2. 相比操作系统的交换方式。 redis 可以将被交换到磁盘的对象进行压缩,保存到磁盘的对
象可以去除指针和对象元数据信息。一般压缩后的对象会比内存中的对象小 10 倍。这
样 redis 的虚拟内存会比操作系统的虚拟内存少做很多 IO 操作

 

 Redis 虚拟内存相关配置

vm-enabled yes
#开启虚拟内存功能
vm-swap-file /tmp/redis.swap
#交换出来 value 保存的文件路径/tmp/redis.swap
vm-max-memory 268435456
#redis 使用的最大内存上限（256MB） ，超过上限后
redis 开始交换 value 到磁盘 swap 文件中。建议设置为系统空闲内存的 60%-80%
vm-page-size 32
#每个 redis 页的大小 32 个字节
vm-pages 134217728
#最多在文件中使用多少个页,交换文件的大小 =
（vm-page-size * vm-pages）4GB
vm-max-threads 8
#用于执行 value 对象换入换出的工作线程数量。0
表示不使用工作线程（详情后面介绍)
redis 的虚拟内存在设计上为了保证 key 的查询速度，只会将 value 交换到 swap 文件
中。如果是由于太多 key 很小的 value 造成的内存问题，那么 redis 的虚拟内存并不能解
决问题。和操作系统一样 redis 也是按页来交换对象的。redis 规定同一个页只能保存一个
对象。 但是一个对象可以保存在多个页中。 在 redis 使用的内存没超过 vm-max-memory 之前
是不会交换任何 value 的。 当超过最大内存限制后， redis 会选择把较老的对象交换到 swap
文件中去。如果两个对象一样老会优先交换比较大的对象，精确的交换计算公 式
swappability = age*log(size_in_memory)。 对于 vm-page-size 的设置应该根据自己应用
将页的大小设置为可以容纳大多数对象的尺寸。 太大了会浪费磁盘空间， 太小了会造成交换

文件出现过多碎片。对于交换文件中的每个页，redis 会在内存中用一个 1bit 值来对应记
录页的空闲状态。所以像上面配置中页数量(vm-pages 134217728 )会占用 16MB 内存用来记
录页的空闲状态。vm-max-threads 表示用做交换任务的工作线程数量。如果大于 0 推荐设
为服务器的 cpu 的核心数。如果是 0 则交换过程在主线程进行

 redis 虚拟内存工作方式简介

1. 当 vm-max-threads 设为 0 时（阻塞方式）

换出
主线程定期检查发现内存超出最大上限后，会直接以阻塞的方式,将选中的对象保存到 swap
文件中，并释放对象占用的内存空间，此过程会一直重复直到下面条件满足
①.内存使用降到最大限制以下
②.swap 文件满了。
③.几乎全部的对象都被交换到磁盘了

换入
当有客户端请求已经被换出的 value 时，主线程会以阻塞的方式从 swap 文件中加载对应的
value 对象，加载时此时会阻塞所有客户端。然后处理该客户端的请求

2. 当 vm-max-threads 大于 0 时(工作线程方式)

换出
当主线程检测到使用内存超过最大上限， 会将选中要交换的对象信息放到一个队列中交给工
作线程后台处理，主线程会继续处理客户端请求。
换入
如果有客户端请求的 key 已经被换出了， 主线程会先阻塞发出命令的客户端， 然后将加载对
象的信息放到一个队列中，让工作线程去加载。加载完毕后工作线程通知主线程。主线程再
执行客户端的命令。这种方式只阻塞请求的 value 是已经被换出 key 的客户端。
总的来说阻塞方式的性能会好一些， 因为不需要线程同步、 创建线程和恢复被阻塞的客
户端等开销。但是也相应的牺牲了响应性。工作线程方式主线程不会阻塞在磁盘 IO 上，所
以响应性更好。 如果我们的应用不太经常发生换入换出， 而且也不太在意有点延迟的话推荐
使用阻塞方式