Redis 批量查询优化

Posted 2023-04-06 adam_1997

在实际应用中，我们可能需要同时对多个key的数据进行读取，一般的方法如下：

    // 请求地址示例：http://localhost:8080/foodie-api/redis/testMultiKey?keys=key1,key2,key3,key5
    @RequestMapping("/testMultiKey")
    public Object testMultiKey(String... keys)
        List<String> result = new ArrayList<>();
        for(String key : keys)
            String itemResult = redisTemplate.opsForValue().get(key);
            result.add(itemResult);
        
        return result;
    

上面这种方法不仅麻烦而且low，实际上我们每次请求redis的数据都会建立和关闭连接，当请求的key较多时，这种方法会增加开销，所以引入下面另种方式批量操作命令与管道方法。

一、mget命令（方法）

在redis中是有批量操作命令的，如string类型中有mset和mget两个操作命令：

 mset key value [key value ...]
 mget key [key ...]

在java中也同样有批量操作的方法供我们使用，对上面的代码稍加改造如下：

    @RequestMapping("/testMultiKey")
    public Object testMultiKey(String... keys)
        List<String> keysList = Arrays.asList(keys);
        return redisTemplate.opsForValue().multiGet(keysList);
    

其他批量操作方法差不多，这里就省略了。

注：

当key数目在10以内时，mget性能下降趋势非常小，性能基本上能达到redis实例的极限
当key数目在10～100之间时，mget性能下降明显，需要考虑redis性能衰减对系统吞吐的影响
当key数目在100以上时，mget性能下降幅度趋缓，此时redis性能已经较差，不建议使用在OLTP系统中，或者需要考虑其他手段来提升性能。

二、管道（pipeline）

下面实例只是简单的说明管道的使用，http://blog.csdn.net/xiaoliu598906167/article/details/82218525，链接中的文章对管道技术有更加详细的描述。

public List<Object> batchGet(List<String> keys) 
 
//		nginx -> keepalive
//		redis -> pipeline
 
		List<Object> result = redisTemplate.executePipelined(new RedisCallback<String>() 
			@Override
			public String doInRedis(RedisConnection connection) throws DataAccessException 
				StringRedisConnection src = (StringRedisConnection)connection;
 
				for (String k : keys) 
					src.get(k);
				
				return null;
			
		);
 
		return result;
	

但是在redis cluster 集群模式下执行批量处理命令会报错，具体原因如下：不同的 key 计算出的 slot 槽不一样，不同槽可能对应到不同节点，也就是说批量操作实际很可能被均分到不同的 redis 实例上，对于这种情况，redis cluster 没法处理，直接报错

一般有两种方法解决该问题：

1、别用批量处理命令了，老老实实一条一条执行，对于某些不追求效率的场景确实可以这样干

2、虽然 cluster 模式下没法批量处理，但我们知道 slot 槽怎么计算，也知道对应槽属于哪台实例，此时就可以在客户端手动计算，通过 pipeline 连接位于同一实例下的 key，批量处理

下面我通过简单代码模拟整个过程：

public static Map<String, String> mGet(JedisCluster jedisCluster, String... keys) 
    Map<String, String> result = new HashMap<>();
    if (keys == null || keys.length == 0) 
        return result;
    
    if (keys.length == 1) 
        result.put(keys[0], jedisCluster.get(keys[0]));
        return result;
    
    // 需要引入 Mybatis 包，网上查的，通过这种方式能获取到 slot 和 jedisPool 的对应关系
    MetaObject metaObject = SystemMetaObject.forObject(jedisCluster);
    JedisClusterInfoCache cache = (JedisClusterInfoCache) metaObject.getValue("connectionHandler.cache");
    // 用来记录各个实例包含哪些 key
    Map<JedisPool, List<String>> map = new HashMap<>();
    // 遍历所有 key
    for (String s : keys) 
        int slot = JedisClusterCRC16.getSlot(s);
        JedisPool temp = cache.getSlotPool(slot);
        if (map.containsKey(temp)) 
            map.get(temp).add(s);
         else 
            List<String> list = new ArrayList<>();
            list.add(s);
            map.put(temp, list);
        
    
    // 遍历所有存在 key 的 redis 实例，通过 pipeline 批量执行
    for (Map.Entry<JedisPool, List<String>> entry : map.entrySet()) 
        JedisPool pool = entry.getKey();
        List<String> list = entry.getValue();
        Pipeline pipeline = pool.getResource().pipelined();
        for (String s : list) 
            pipeline.get(s);
        
        List<Object> objectList = pipeline.syncAndReturnAll();
        pipeline.close();
        for (int i = 0; i < objectList.size(); ++i) 
            result.put(list.get(i), objectList.get(i) == null ? null : objectList.get(i).toString());
        
    
    return result;

原文链接：https://blog.csdn.net/m0_57015193/article/details/119742261
原文链接：https://blog.csdn.net/b15735105314/article/details/108692786
原文链接：https://blog.csdn.net/w1lgy/article/details/84455579

python Redis批量迭代查询

import redis

from itertools import izip_longest

# iterate a list in batches of size n
def batcher(iterable, n):
    args = [iter(iterable)] * n
    return izip_longest(*args)
  
per_scan_limit = 500
for keybatch in batcher(r.scan_iter('eagle-auto-*'),per_scan_limit):
    for task_id in keybatch:
      print task_id