关于redis批量获取数据pipeline

Posted 2023-04-07

参考技术A Redis是建立在TCP协议上的CS架构,客户端client对redis server采取请求响应的方式交互.每次交互会有网络延迟,大约30ms.
假设有这样一个场景,redis中存储上千个key值,获取每个key对应field的value,那么要向redis请求上千次 hget(key, field),获取响应也是对应的次数.如果能一次性将所有请求提交给server端,执行完成后批量获取响应,只需向redis请求1次,性能获大幅提升

没有用pipeline之前,基本上获取所有数据需要90多s,现在只需0.3s,性能提升清晰可见

实现以下场景:定时任务每隔1s执行任务函数,但是任务函数执行完成的时间比1s要长,此时启动定时任务要加上两个参数,否则会报错

可允许的实例个数,如果没有设置,则默认为1,表示id相同的任务实例数
像上面的例子中,会报skipped: maximum number of running instances reached (1)的错误,意思APScheduler试图重新执行作业，但前一个仍在运行。

这个参数可以理解为任务的超时容错配置，给executor 一个超时时间，这个时间范围内要是该跑的还没跑完，就别再跑了
像上面的例子中,会报Run time of job …… next run at: ……)” was missed by的错误

php读取文件使用redis的pipeline（管道）导入大批量数据

需求：需要做一个后台上传TXT文件，读取其中的内容，然后导入redis库中。要求速度快，并且支持至少10W以上的数据，而内容也就一个字段存类似openid和QQ

传统做法：我一开始做的时候就老套路，遍历、hset，然后就发现非常的慢，一千条数据就花了30-32秒，当时就觉得不行，于是就请教了一个大佬，然后就得知了方法

我生成了20W的数据用来做测试，文件大小6M多。

话不多说，直接贴代码了

$lines  = file_get_contents($_FILES[‘file‘][‘tmp_name‘]);//获取文件内容
ini_set(‘memory_limit‘, ‘-1‘);//不要限制Mem大小，否则会报错
$line   = explode("\r\n",$lines);//转换成数组
//实例化redis
$redis = new Redis();
//连接
$redis->connect(‘127.0.0.1‘, 6379);
$redis->pipeline();//开启管道
if(!$redis){
    throw new Exception(‘redis连接失败！‘,1);
}
$key   = $info[‘key‘];
$c     = 0;
$count = count($line);
$now   = time();
for($i=0;$i<$count;$i++){
    $res = $redis->hset($key,$line[$i],1);
    if($res){
        $c ++;
    }
}
$redis->exec();

使用结果：

哈哈，即使就直接用time()方法获取的，是计秒的，没有毫秒那种效果，不过也可以看出来确实是非常的快，20W的数据不到两秒就存进去了

其实整个代码都非常简单，能让redis快速导入的就是一个点“pipeline”，开启了这个就可以了。哈哈以前没有用过，所以就小小的记录一下。