redis数据结构之IntSet介绍以及源码分析

Posted 2022-05-24 _瞳孔

IntSet是Redis中set集合的一种实现方式，基于整数数组来实现，并且具备长度可变、有序等特征。

结构如下：

typedef struct intset 
    uint32_t encoding; /* 编码方式，支持存放16位、32位、64位整数 */
    uint32_t length;  /* 元素个数 */
    int8_t contents[];  /* 整数数组，保存集合数据 */
 intset;

其中encoding包含三种模式，表示存储的整数大小不同：

/* Note that these encodings are ordered, so:
 * INTSET_ENC_INT16 < INTSET_ENC_INT32 < INTSET_ENC_INT64. */
#define INTSET_ENC_INT16 (sizeof(int16_t))  /* 2字节整数，范围类似java的short */
#define INTSET_ENC_INT32 (sizeof(int32_t))  /* 4字节整数，范围类似java的int */
#define INTSET_ENC_INT64 (sizeof(int64_t))  /* 8字节整数，范围类似java的long */

为了方便查找，Redis会将intset中所有的整数按照升序依次保存在contents数组中，结构如图:

现在，数组中每个数字都在int16_t的范围内，因此采用的编码方式是INTSET_ENC_INT16，每部分占用的字节大小为:

• encoding:4字节
• length:4字节
• contents: 2字节*3 =6字节

contents中每一个元素的大小都是统一的，以此便于寻址：

startPtr + (sizeof(int16) * index)

如果该数组是int16_t，如果突然需要插入一个大于int16_t的数字，那么就涉及IntSet升级问题

现在，假设有一个intset，元素为5, 10, 20，采用的编码是INTSET_ENC_INT16，则每个整数占2字节:

我们向该其中添加一个数字:50000，这个数字超出了int16_t的范围，intset会自动升级编码方式到合适的大小。

以当前案例来说流程如下:

• 升级编码为INTSET_ENC_INT32，每个整数占4字节，并按照新的编码方式及元素个数重新申请空间以扩容数组
  

• 倒序依次将数组中的元素拷贝到扩容后的正确位置
  
  

• 将待添加的元素放入数组末尾
  

• 最后，将inset的encoding属性改为INTSET_ENC_INT32，将length属性改为4
  

redis源码里，插入元素的函数如下，当然中文注释是我添加的

/* Insert an integer in the intset */
intset *intsetAdd(intset *is, int64_t value, uint8_t *success) 
    // 获取当前值编码 
    uint8_t valenc = _intsetValueEncoding(value);
    // 要插入的位置
    uint32_t pos;
    
    if (success) *success = 1;
    /* Upgrade encoding if necessary. If we need to upgrade, we know that
     * this value should be either appended (if > 0) or prepended (if < 0),
     * because it lies outside the range of existing values. */
    if (valenc > intrev32ifbe(is->encoding))   // 判断编码是不是超过了当前inset的编码
        /* This always succeeds, so we don't need to curry *success. */
        return intsetUpgradeAndAdd(is,value);  // 超出当前inset编码则需升级
     else 
        /* Abort if the value is already present in the set.
         * This call will populate "pos" with the right position to insert
         * the value when it cannot be found. */
        if (intsetSearch(is,value,&pos))   // 在当前inset中查找值与value一样的元素的角标pos
            if (success) *success = 0;  // 如果找到了，则无需插入，直接结束并返回失败
            return is;
        
        
        // 数组扩容
        is = intsetResize(is,intrev32ifbe(is->length)+1);
        // 移动数组中pos之后的元素到pos+1，给新元素腾出空间
        if (pos < intrev32ifbe(is->length)) intsetMoveTail(is,pos,pos+1);
    
    
    // 插入新元素
    _intsetSet(is,pos,value);
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    return is;

再看看intset升级源码：

/* Upgrades the intset to a larger encoding and inserts the given integer. */
static intset *intsetUpgradeAndAdd(intset *is, int64_t value) 
    uint8_t curenc = intrev32ifbe(is->encoding);  // 获取当前intset编码
    uint8_t newenc = _intsetValueEncoding(value);  // 获取新的编码
    int length = intrev32ifbe(is->length);  // 获取元素个数
    int prepend = value < 0 ? 1 : 0;  // 判断新元素是大于0还是小于0，小于0插入队首，大于0插入队尾

    /* First set new encoding and resize */
    is->encoding = intrev32ifbe(newenc);  // 重置编码为新编码
    is = intsetResize(is,intrev32ifbe(is->length)+1);  // 重置数组大小

    /* Upgrade back-to-front so we don't overwrite values.
     * Note that the "prepend" variable is used to make sure we have an empty
     * space at either the beginning or the end of the intset. */
    while(length--) 
        /*
           倒序便利，逐个搬运元素到新的位置
           _intsetGetEncoded按照旧编码方式查找旧元素
           _intsetSet按照新编码方式插入新元素
        */
        _intsetSet(is,length+prepend,_intsetGetEncoded(is,length,curenc));

    /* Set the value at the beginning or the end. */
    if (prepend)  // 插入新元素，prepend决定是队首还是队尾
        _intsetSet(is,0,value);
    else
        _intsetSet(is,intrev32ifbe(is->length),value);
    // 修改数组长度
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    return is;

再看看查找元素角标的源码：

/* Search for the position of "value". Return 1 when the value was found and
 * sets "pos" to the position of the value within the intset. Return 0 when
 * the value is not present in the intset and sets "pos" to the position
 * where "value" can be inserted. */
static uint8_t intsetSearch(intset *is, int64_t value, uint32_t *pos) 
    // 初始化二分查找需要的min，max，mid
    int min = 0, max = intrev32ifbe(is->length)-1, mid = -1;
    int64_t cur = -1;  // mid对应的值

    /* The value can never be found when the set is empty */
    if (intrev32ifbe(is->length) == 0)   // 如果数组为空则不用找
        if (pos) *pos = 0;
        return 0;
     else   // 数组不为空则判断value是否大于最大值，小于最小值
        /* Check for the case where we know we cannot find the value,
         * but do know the insert position. */
        if (value > _intsetGet(is,max))   // 大于最大值则直接插入队尾
            if (pos) *pos = intrev32ifbe(is->length);
            return 0;
         else if (value < _intsetGet(is,0))   // 小于最小值则插入队首
            if (pos) *pos = 0;
            return 0;
        
    
    // 二分查找
    while(max >= min) 
        mid = ((unsigned int)min + (unsigned int)max) >> 1;
        cur = _intsetGet(is,mid);
        if (value > cur) 
            min = mid+1;
         else if (value < cur) 
            max = mid-1;
         else 
            break;
        
    

    if (value == cur) 
        if (pos) *pos = mid;
        return 1;
     else 
        if (pos) *pos = min;
        return 0;
    

综上，Intset可以看做是特殊的整数数组，具备一些特点:

• Redis会确保lntset中的元素唯一、有序
• 具备类型升级机制，可以节省内存空间
• 底层采用二分查找方式来查询

如果有兴趣了解更多相关内容，欢迎来我的个人网站看看：瞳孔的个人网站