在RedisTemplate中使用scan代替keys指令

Posted 2021-04-07 Java大数据智能开发

https://my.oschina.net/xiaolyuh/blog/3169203

SCAN 简介

SCAN 命令及其相关的 SSCAN 命令、 HSCAN 命令和 ZSCAN 命令都用于增量地迭代（incrementally iterate）一集元素（a collection of elements）：

• SCAN 命令用于迭代当前数据库中的数据库键。

• SSCAN 命令用于迭代集合键中的元素。

• HSCAN 命令用于迭代哈希键中的键值对。

• ZSCAN 命令用于迭代有序集合中的元素（包括元素成员和元素分值）。

基本用法可以参考：http://doc.redisfans.com/key/scan.html

SCAN和KEYS的区别

当 KEYS 命令被用于处理一个大的数据库时， 又或者 SMEMBERS 命令被用于处理一个大的集合键时， 它们会锁定redis库， 可能会阻塞服务器达数秒之久。在高并发下会导致请求大量堆积进而导致服务雪崩。有些公司在生产环境直接禁用kyes *命令。但是在redis服务器key的数量不大的情况下，使用keys也是没啥问题的。

SCAN 命令及其相关的 SSCAN 命令、 HSCAN 命令和 ZSCAN 命令都用于增量地迭代 ，它们每次执行都只会返回少量元素，不会阻塞服务器， 所以这些命令可以用于生产环境， 而不会出现像 KEYS 命令、 SMEMBERS 命令带来的问题。

SCAN一样有它自己的问题：

1.因为是分段获取key，所以它会多次请求redis服务器，这样势必取同样的key，scan耗时更长。

2.在对键进行增量式迭代的过程中， 键可能会被修改， 所以增量式迭代命令只能对被返回的元素提供有限的保证。

SCAN cursor [MATCH pattern] [COUNT count]

使用SCAN代替KEYS

/**
 * redis扩展工具
 *
 * @author yuhao.wang3
 * @since 2020/2/21 23:35
 */
public abstract class RedisHelper {
    private static Logger logger = LoggerFactory.getLogger(RedisHelper.class);

    /**
 * scan 实现
 *
 * @param redisTemplate redisTemplate
 * @param pattern 表达式，如：abc*，找出所有以abc开始的键
 */
    public static Set<String> scan(RedisTemplate<String, Object> redisTemplate, String pattern) {
        return redisTemplate.execute((RedisCallback<Set<String>>) connection -> {
            Set<String> keysTmp = new HashSet<>();
            try (Cursor<byte[]> cursor = connection.scan(new ScanOptions.ScanOptionsBuilder()
                    .match(pattern)
                    .count(10000).build())) {

                while (cursor.hasNext()) {
                    keysTmp.add(new String(cursor.next(), "Utf-8"));
                }
            } catch (Exception e) {
                logger.error(e.getMessage(), e);
                throw new RuntimeException(e);
            }
            return keysTmp;
        });
    }
}

源码分析

我看到网上很多文章说这种实现方式cursor 只会被执行一次，其实这是错误的，使用这种方式cursor 会将所有的符合条件的key都返回回来，他只是将游标的移动给封装了起来而已，真正执行查询的语句起始在cursor.hasNext()里面，源码如下：

/*
 * (non-Javadoc)
 * @see java.util.Iterator#hasNext()
 */
@Override
public boolean hasNext() {

    assertCursorIsOpen();
	// 存放结果集的容器没有值，并且游标状态是未完成的时候进行Scan动作
    while (!delegate.hasNext() && !CursorState.FINISHED.equals(state)) {
        scan(cursorId);
    }

	// 如果结果容器还有值直接返回true,进行循环
    if (delegate.hasNext()) {
        return true;
    }
	
	// 如果结果容器没有值，但是游标不为0则表示还有值，需要进行下一次循环
    if (cursorId > 0) {
        return true;
    }

    return false;
}

private void scan(long cursorId) {
	// 进行scan操作
    ScanIteration<T> result = doScan(cursorId, this.scanOptions);
	// 结果集处理
    processScanResult(result);
}


private void processScanResult(ScanIteration<T> result) {

    if (result == null) {
		// 重置结果集容器
        resetDelegate();
		// 设置游标状态为完成
        state = CursorState.FINISHED;
        return;
    }
	// 获取当前游标位置
    cursorId = Long.valueOf(result.getCursorId());

    if (isFinished(cursorId)) {
		// 游标返回0，设置游标状态为完成
        state = CursorState.FINISHED;
    }

    if (!CollectionUtils.isEmpty(result.getItems())) {
		// 将查询结果放到容器中
        delegate = result.iterator();
    } else {
        resetDelegate();
    }
}

由上面源码我们可以看到游标的移动是在processScanResult()方法中完成。通过state来记录当前游标状态，大致过程为：

1.当存放结果集的容器没有值，并且游标状态是未完成的时候进行Scan动作

2.如果结果容器还有值直接返回true,进行循环

3.如果结果容器没有值，但是游标不为0则表示还有值，需要进行下一次循环

        学习资料          
（输入以下关键字可以获得相关学习资料）
丨Java1 丨Java2 丨
丨大数据1丨大数据2丨
丨python1丨python2丨小程序丨
丨前端丨架构师丨丨linux丨
丨Java面试集锦丨C语言丨电子书丨

<  END  >


  
    
    
  

   
     
     
   
 
    
 
     
 
      
 
       
 
        
 
       
 
       
 
        
小编微信
 
       
 
      
 
      
 
       
 
        
如果喜欢小编可以点击关注“Java大数据智能开发”并 加小编  微信：Mrsongww，回复“关键字”获取学习资料，还有更多学习资料分享~让我们一起学习it，走向巅峰！！知识只有共享才能传播，才能推崇出新的知识，才能学到更多，这里写的每一篇文字/博客，基本都是从网上查询了一下资料然后记录下来，也有些是原滋原味搬了过来，也有时加了一些自己的想法~~