Java开发工程师进阶篇-深入浅出Redis

Posted 2021-09-14 恒生LIGHT云社区

基本简介

Redis 是什么？

• Redis 是互联网技术领域使用最为广泛的存储中间件，它是「Remote Dictionary Service」的首字母缩写，也就是「远程字典服务」。Redis 以其超高的性能、完美的文档、 简洁易懂的源码和丰富的客户端库支持在开源中间件领域广受好评。
• 国内外很多大型互联网 公司都在使用 Redis，比如 Twitter、YouPorn、暴雪娱乐、Github、StackOverflow、腾讯、 阿里、京东、华为、新浪微博等等，很多中小型公司也都有应用。也可以说，对 Redis 的了 解和应用实践已成为当下中高级后端开发者绕不开的必备技能。

Redis 可以用来做什么？

• 「Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。
• 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘持久化（persistence）， 并通过 Redis哨兵（Sentinel）和自动 分区（Cluster）提供高可用性（high availability）。

Redis 可以做什么？

• Redis 的业务应用范围非常广泛，以博客社区的功能模块为实例：
  • 记录帖子的点赞数、评论数和点击数 (hash)。
  • 记录用户的帖子 ID列表 (排序)，便于快速显示用户的帖子列表 (zset)。
  • 记录帖子的标题、摘要、作者和封面信息，用于列表页展示 (hash)。
  • 记录帖子的点赞用户 ID 列表，评论 ID 列表，用于显示和去重计数 (zset)。
  • 缓存近期热帖内容 (帖子内容空间占用比较大)，减少数据库压力 (hash)。

Redis 的下载安装

• 参考网站：http://www.redis.cn/download.html

基础数据结构

Redis 有 5 种基础数据结构，分别为：string (字符串)、list (列表)、hash (哈 希)、set (集合) 和 zset (有序集合)。熟练掌握这 5 种基本数据结构的使用是 Redis 知识最基础也最重要 的部分。

字符串（string）

-string 的基本概念

• 字符串 string 是 Redis 最简单的数据结构。Redis 所有的数据结构都是以唯一的 key 字符串作为名称，然后通过这个唯一 key 值来获取相应的 value 数据。不同类型的数据结 构的差异就在于 value 的结构不一样。

  

-string 的应用

• 字符串结构使用非常广泛，一个常见的用途就是缓存用户信息。我们将用户信息结构体使用 JSON 序列化成字符串，然后将序列化后的字符串塞进 Redis 来缓存。同样，取用户信息会经过一次反序列化的过程。

-string 的结构原理

• Redis 的字符串是动态字符串，是可以修改的字符串，内部结构实现上类似于 Java 的 ArrayList，采用预分配冗余空间的方式来减少内存的频繁分配。

  

• 如图中所示，内部为当前字 符串实际分配的空间 capacity 一般要高于实际字符串长度 len。当字符串长度小于 1M 时， 扩容都是加倍现有的空间，如果超过 1M，扩容时一次只会多扩 1M 的空间。需要注意的是字符串最大长度为512M。
• 字符串是由多个字节组成，每个字节又是由 8 个 bit 组成，如此便可以将一个字符串看 成很多 bit 的组合，这便是 bitmap「位图」数据结构。

-string 的操作命令

• 基本命令：set 、get 、exists 、del
• 批量命令：mset 、mget
• 其他命令：expire 、setex 、setnx 、incr 、incrby
  • 如果 value 值是一个整数，可以对它进行自增操作。自增是有范围的，它的范围是signed long 的最大最小值，超过了这个值，Redis 会报错。

列表（list）

-list 的基本概念

• Redis 的列表相当于 Java 语言里面的LinkedList，注意它是链表而不是数组。这意味着list 的插入和删除操作非常快，时间复杂度为 O(1)，但是索引定位很慢，时间复杂度为 O(n)。
• 当列表弹出了最后一个元素之后，该数据结构自动被删除，内存被回收。

-list 的应用

• Redis 的列表结构常用来做异步队列使用。将需要延后处理的任务结构体序列化成字符串塞进 Redis 的列表，另一个线程从这个列表中轮询数据进行处理。

-list 的结构原理

• 如果再深入一点，会发现 Redis 的列表底层存储的还不是一个简单的 linkedlist，而是称之为 快速链表 quicklist 的一个结构。

  

• 首先在列表元素较少的情况下会使用一块连续的内存存储，这个结构是 ziplist，也即是压缩列表。它将所有的元素紧挨着一起存储，分配的是一块连续的内存。
• 当列表元素比较多时候会改成 quicklist。因为普通的链表需要的附加指针空间太大，会比较浪费空间，而且会加重内存的碎片化。比如这个列表里存的只是 int 类型的数据，结构上还需要两个额外的指针 prev 和 next 。所以 Redis 将链表和 ziplist 结合起来组成了 quicklist。也就是将多个 ziplist 使用双向指针串起来使用。这样既满足了快速的插入删除性能，又不会出现太大的空间冗余。

-list 的操作命令

• 常用命令：rpush、lpush、rpop、lpop
• 查询命令：llen、lrange、lindex、ltirm

哈希/字典（hash）

-hash 的基本概念

• Redis 的字典相当于 Java 语言里面的HashMap，它是无序字典。内部实现结构上同 Java 的HashMap 也是一致的，同样的数组 + 链表二维结构。

-hash 的结构原理

• 第一维 hash 的数组位置碰撞时，就会将碰撞的元素使用链表串连接起来。

  

• 不同的是，Redis 的字典的值只能是字符串，另外它们 rehash 的方式不一样，因为 Java 的 HashMap 在字典很大时，rehash 是个耗时的操作，需要一次性全部 rehash。Redis 为了高性能，不能堵塞服务，所以采用了渐进式 rehash 策略。

  

• 渐进式 rehash 会在 rehash 的同时，保留新旧两个 hash 结构，查询时会同时查询两个 hash 结构，然后在后续的定时任务中以及 hash 的子指令中，循序渐进地将旧 hash 的内容 一点点迁移到新的 hash 结构中。
• 当 hash 移除了最后一个元素之后，该数据结构自动被删除，内存被回收。
• hash 也有缺点，hash 结构的存储消耗要高于单个字符串，到底该使用 hash 还是字符 串，需要根据实际情况再三权衡。

-hash 的应用

• hash 结构也可以用来存储用户信息，不同于字符串一次性需要全部序列化整个对象，hash 可以对用户结构中的每个字段单独存储。
• 当我们需要获取用户信息时可以进行部分获取。而以整个字符串的形式去保存用户信息的话就只能一次性全部读取，这样就会比较浪费网络流量。

-hash 的操作命令

• 常用命令：hset、hget、hgetall、hlen、hmet
• 其他命令：hincr、hincrbu

集合（set）

-set 的基本概念

• Redis 的集合相当于 Java 语言里面的HashSet，它内部的键值对是无序的唯一的。它的内部实现相当于一个特殊的字典，字典中所有的value 都是一个值NULL。
• 当集合中最后一个元素移除之后，数据结构自动删除，内存被回收。

-set 的应用

• set 结构可以用来存储活动中奖的用户 ID，因为有去重功能，可以保证同一个用户不会中奖两次。

-set 的操作命令

• 常用命令：sadd、smembers、sismember、scard、spop

-set 的结构原理

• 集合对象 set 是 string 类型（整数也会转换成string类型进行存储）的无序集合。注意集合和列表的区别：集合中的元素是无序的，因此不能通过索引来操作元素；集合中的元素不能有重复。
• 编码
  • 集合对象的编码可以是intset或者hashtable。
  • intset编码的集合对象使用整数集合作为底层实现，集合对象包含的所有元素都被保存在整数集合中。
  • hashtable编码的集合对象使用 字典作为底层实现，字典的每个键都是一个字符串对象，这里的每个字符串对象就是一个集合中的元素，而字典的值则全部设置为 null。这里可以类比Java集合中HashSet集合的实现. HashSet 集合是由HashMap来实现的，集合中的元素就是 HashMap 的key，而 HashMap 的值都设为 null。
  • 
  • 
  • 编码转换
  • 当集合同时满足以下两个条件时，使用 intset 编码：
    • 集合对象中所有元素都是整数
    • 集合对象所有元素数量不超过512
  • 不能满足这两个条件的就使用hashtable编码。第二个条件可以通过配置文件的set-max-intset-entries进行配置。

有序集合（zset）

-zset 的基本概念

• zset 可能是 Redis 提供的最为特色的数据结构，它也是在面试中面试官最爱问的数据结 构。
• 它类似于 Java 的SortedSet 和HashMap 的结合体，一方面它是一个set，保证了内部 value 的唯一性，另一方面它可以给每个 value 赋予一个score，代表这个value 的排序权 重。它的内部实现用的是一种叫着「跳跃列表」的数据结构。
• zset 中最后一个value 被移除后，数据结构自动删除，内存被回收。

-zset 的应用

• zset 可以用来存 粉丝列表，value 值是粉丝的用户 ID，score 是关注时间。我们可以对粉丝列表按关注时间进行排序。
• zset 还可以用来存储学生的成绩，value 值是学生的 ID，score 是他的考试成绩。我们 可以对成绩按分数进行排序就可以得到他的名次。

-zset 的操作命令

• 常用命令：zadd、zrange、zrevrange、zcard、zscore、zrank、zrangebyscore

-zset 的结构原理

• 有序集合对象是有序的。与列表使用索引下标作为排序依据不同，有序集合为每个元素设置一个分数（score）作为排序依据。
• 编码
  • 有序集合的编码可以是ziplist或者skiplist。
  • ziplist编码的有序集合对象使用压缩列表作为底层实现，每个集合元素使用两个紧挨在一起的压缩列表节点来保存，第一个节点保存元素的成员，第二个节点保存元素的分值。
  • 并且压缩列表内的集合元素按分值从小到大的顺序进行排列，小的放置在靠近表头的位置，大的放置在靠近表尾的位置。
  • 
  • skiplist编码的有序集合对象使用zset结构作为底层实现，一个zset结构同时包含一个字典和一个跳跃表：
  • 字典的键保存元素的值，字典的值则保存元素的分值；跳跃表节点的object属性保存元素的成员，跳跃表节点的score属性保存元素的分值。
  • 这两种数据结构会通过指针来共享相同元素的成员和分值，所以不会产生重复成员和分值，造成内存的浪费。
• 编码转换
  • 当有序集合对象同时满足以下两个条件时，对象使用ziplist编码：
  • 保存的元素数量小于128；
  • 保存的所有元素长度都小于64字节；
  • 不能满足上面两个条件的使用skiplist编码。
  • 以上两个条件可以通过Redis配置文件zset-max-ziplist-entries选项和zset-max-ziplist-value进行修改。

容器型数据结构

通用规则

list/set/hash/zset 这四种数据结构是容器型数据结构，它们共享下面两条通用规则：

• create if not exists
  • 如果容器不存在，那就创建一个，再进行操作。比如 rpush 操作刚开始是没有列表的， Redis 就会自动创建一个，然后再 rpush 进去新元素
• drop if no elements
  • 如果容器里元素没有了，那么立即删除元素，释放内存。这意味着 lpop 操作到最后一 个元素，列表就消失了。

过期时间

• Redis 所有的数据结构都可以设置过期时间，时间到了，Redis 会自动删除相应的对象。
• 需要注意的是过期是以对象为单位，比如一个hash 结构的过期是整个hash 对象的过期， 而不是其中的某个子key。
• 特别注意的地方是如果一个字符串已经设置了过期时间，然后你调用了set 方法修改了它，它的过期时间会消失。