Redis内存分析工具—redis-rdb-tools

Posted 2020-10-19

   redis-rdb-tools是由Python写的用来分析Redis的rdb快照文件用的工具，它可以把rdb快照文件生成json文件或者生成报表用来分析Redis的使用详情、使用标准的diff工具比较两个dump文件，总之是比较实用的工具，至于安装可以通过Python的pip来安装

[[email protected] ~]# yum -y install python-pip python-redis
[[email protected] ~]# pip install rdbtools

当然也可以通过git下载源码来安装，但是必须要安装python-redis的插件，如下：

git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
python setup.py install

在安装后同glances类似调用名为rdb的Python脚本，而rdb常用的几个参数：

  -h，--help    显示此帮助信息并退出
  -c FILE, --command=FILE    要执行的命令，转出的类型。有效的命令是json(转成json)，diff（差异比对），justkeys（仅有key），justkeyvals（仅有value），memory（内存报告）， protocol（导成添加指令）
  -f FILE, --file=FILE    文件输出文件
  -n DBS, --db=DBS    DBS数据库号码。可以提供多个数据库。如果未指定，则将包括所有数据库。
  -k KEYS, --key=KEYS 显示出的Redis的key。这可以是一个正则表达式
  -o NOT_KEYS, --not-key=NOT_KEYS    显示忽略的key。这可以是一个正则表达式
  -t TYPES, --type=TYPES    显示出数据类型，key的数据类型string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型），如果没有指定，全部数据类型将被返回
  -b BYTES, --bytes=BYTES    将内存输出限制为大于或等于的key，单位字节
  -l LARGEST, --largest=LARGEST    将内存输出限制为只有前N个key（按大小）
  -e ESCAPE, --escape=ESCAPE    将字符串转义为编码：raw（默认），print，utf8或base64。

如需要把匹配到的key的key和value用json的格式打印：

[[email protected] ~]# rdb --command json -k "test" /usr/local/redis/dump.rdb

此外最常用的就是把Redis的rdb内存分析报告生成csv文件，可以使用awk等相关工具分析，也可以导入数据库用以分析：

[[email protected] redis]# rdb -c memory dump.rdb > memory.csv

在生成的报表中有database（key在Redis的db）、type（key类型）、key（key值）、size_in_bytes（key的内存大小）、encoding（value的存储编码形式）、num_elements（key中的value的个数）、len_largest_element（key中的value的长度）,需要注意的如果导入数据库一定要注意导入时所用字段数据类型，如导入mysql中的建表ddl：

CREATE TABLE `memory` (
  `database` int(128) DEFAULT NULL,
  `type` varchar(128) DEFAULT NULL,
  `KEY` varchar(128) DEFAULT NULL,
  `size_in_bytes` bigint(20) DEFAULT NULL,
  `encoding` varchar(128) DEFAULT NULL,
  `num_elements` bigint(20) DEFAULT NULL,
  `len_largest_element` varchar(128) DEFAULT NULL,
  PRIMARY KEY (`KEY`)
);