Redis如何实现高可扩展？直击优秀开源框架灵魂

Posted 2021-05-20 Java范德萨

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Redis如何实现高可扩展？直击优秀开源框架灵魂相关的知识，希望对你有一定的参考价值。

前言

众所周知，Java开发人员的生存环境可谓是与以前大相径庭，以IT行业发展来说，在十几年前的时候，IT行业的技术人才是稀缺的，程序员最初的招聘行情，只要你会敲“holle world”、会点技术，能做出点东西，就能入职月薪过万的大厂岗位。

而到了今年2021年，初级人才已经不稀缺了。“IT初级人才招聘市场上”除了每年新入行的人，还有几年内、大几年内入行后技术没有进步的人，这些人被辞退、或跳槽找工作，找的也是“IT初级程序员”岗位……

以互联网巨头阿里的招聘信息来看，首先对于工作经验有一定的要求，在我看来工作年限主要取决于你的技术。如果你的技术牛X的话，那么你可以包装自己；其次对于Java程序员来说技术才是最实用的，即使你的工作经验与招聘要求不相匹配，但如果技术掌握情况与之相匹配，阿里是不会“放过”你的，下面是小编在阿里招聘官网看到的招聘信息，可供大家参考。

从图中红色部分可以看到，作为一名三年以上开发经验的Java程序员来说，除了扎实的基础，你还需要掌握中间件、分布式技术、高并发、微服务等技术，而市面上很少有一套系统详细的学习笔记，小编也是花了很多精力才整理出这套《互联网 Java 工程师进阶知识》笔记，不多说，直接上干货！

缓存雪崩

缓存雪崩指的是Redis当中的大量缓存在同一时间全部失效，而假如恰巧这一段时间同时又有大量请求被发起，那么就会造成请求直接访问到数据库，可能会把数据库冲垮。

缓存雪崩一般形容的是缓存中没有而数据库中有的数据，而因为时间到期导致请求直达数据库。

解决方案

解决缓存雪崩的方法有很多：

1、加锁，保证单线程访问缓存。这样就不会有很多请求同时访问到数据库。
2、失效时间不要设置成一样。典型的就是初始化预热数据的时候，将数据存入缓存时可以采用随机时间来确保不会咋同一时间有大量缓存失效。
3、内存允许的情况下，可以将缓存设置为永不失效。

缓存击穿

缓存击穿和缓存雪崩很类似，区别就是缓存击穿一般指的是单个缓存失效，而同一时间又有很大的并发请求需要访问这个key，从而造成了数据库的压力。

解决方案

解决缓存击穿的方法和解决缓存雪崩的方法很类似：

1、加锁，保证单线程访问缓存。这样第一个请求到达数据库后就会重新写入缓存，后续的请求就可以直接读取缓存。
2、内存允许的情况下，可以将缓存设置为永不失效。

缓存穿透

缓存穿透和上面两种现象的本质区别就是这时候访问的数据其在数据库中也不存在，那么既然数据库不存在，所以缓存里面肯定也不会存在，这样如果并发过大就会造成数据源源不断的到达数据库，给数据库造成极大压力。

解决方案

对于缓存穿透问题，加锁并不能起到很好地效果，因为本身key就是不存在，所以即使控制了线程的访问数，但是请求还是会源源不断的到达数据库。

解决缓存穿透问题一般可以采用以下方案配合使用：

1、接口层进行校验，发现非法的key直接返回。比如数据库中采用的是自增id，那么如果来了一个非整型的id或者负数id可以直接返回，或者说如果采用的是32位uuid，那么发现id长度不等于32位也可以直接返回。
2、将不存在的数据也进行缓存，可以直接缓存一个空或者其他约定好的无效value。采用这种方案最好将key设置一个短期失效时间，否则大量不存在的key被存储到Redis中，也会占用大量内存。

布隆过滤器（Bloom Filter）

针对上面缓存穿透的解决方案，我们思考一下：假如一个key可以绕过第1种方法的校验，而此时有大量的不存在key被访问（如1亿个或者10亿个），那么这时候全部存储到缓存，会占用非常大的空间，会浪费大量服务器内存，导致内存不足。

那么有没有一种更好的解决方案呢？这就是我们接下来要介绍的布隆过滤器，布隆过滤器就可以最大程度的解决key值过多的这个问题。

什么是布隆过滤器

可能大部分人都知道有这么一个面试问题：如何在10亿的海量的无序的数据中快速判断一个元素是否存在？

要解决这个问题就需要用到布隆过滤器，否则大部分服务器的内存是无法存储这么大的数量级的数据的。

布隆过滤器（Bloom Filter）是由布隆在1970年提出的。它实际上是一个很长的二进制向量（位图）和一系列随机映射函数（哈希函数）。

布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率而且删除困难。

位图（Bitmap）

Redis当中有一种数据结构就是位图，布隆过滤器其中重要的实现就是位图的实现，也就是位数组，并且在这个数组中每一个位置只有0和1两种状态，每个位置只占用1个字节，其中0表示没有元素存在，1表示有元素存在。如下图所示就是一个简单的布隆过滤器示例（一个key值经过哈希运算和位运算就可以得出应该落在哪个位置）：

哈希碰撞

上面我们发现，lonely和wolf落在了同一个位置，这种不同的key值经过哈希运算后得到相同值的现象就称之为哈希碰撞。发生哈希碰撞之后再经过位运算，那么最后肯定会落在同一个位置。

如果发生过多的哈希碰撞，就会影响到判断的准确性，所以为了减少哈希碰撞，我们一般会综合考虑以下2个因素：

1、增大位图数组的大小（位图数组越大，占用的内存越大）。
2、增加哈希函数的次数（同一个key值经过1个函数相等了，那么经过2个或者更多个哈希函数的计算，都得到相等结果的概率就自然会降低了）。

上面两个方法我们需要综合考虑：比如增大位数组，那么就需要消耗更多的空间，而经过越多的哈希计算也会消耗cpu影响到最终的计算时间，所以位数组到底多大，哈希函数次数又到底需要计算多少次合适需要具体情况具体分析。

布隆过滤器的2大特点

下面这个就是一个经过了2次哈希函数得到的布隆过滤器，根据下图我们很容易看到，假如我们的Redis根本不存在，但是Redis经过2次哈希函数之后得到的两个位置已经是1了（一个是wolf通过f2得到，一个是Nosql通过f1得到）。

所以通过上面的现象，我们从布隆过滤器的角度可以得出布隆过滤器主要有2大特点：

1、如果布隆过滤器判断一个元素存在，那么这个元素可能存在。
2、如果布隆过滤器判断一个元素不存在，那么这个元素一定不存在。

而从元素的角度也可以得出2大特点：

1、如果元素实际存在，那么布隆过滤器一定会判断存在。
2、如果元素不存在，那么布隆过滤器可能会判断存在。

PS：需要注意的是，如果经过N次哈希函数，则需要得到的N个位置都是1才能判定存在，只要有一个是0，就可以判定为元素不存在布隆过滤器中。

fpp

因为布隆过滤器中总是会存在误判率，因为哈希碰撞是不可能百分百避免的。布隆过滤器对这种误判率称之为假阳性概率，即：False Positive Probability，简称为fpp。

在实践中使用布隆过滤器时可以自己定义一个fpp，然后就可以根据布隆过滤器的理论计算出需要多少个哈希函数和多大的位数组空间。需要注意的是这个fpp不能定义为100%，因为无法百分保证不发生哈希碰撞。

总结

阿里伤透我心，疯狂复习刷题，终于喜提offer 哈哈~好啦，不闲扯了，文章开头说要免费给大家分享我的复习资料，下面就给大家展示一下——点击这里免费获取我的复习刷题宝典

1、JAVA面试核心知识整理（PDF）：包含JVM，JAVA集合，JAVA多线程并发，JAVA基础，Spring原理，微服务，Netty与RPC，网络，日志，Zookeeper，Kafka，RabbitMQ，Hbase，MongoDB，Cassandra，设计模式，负载均衡，数据库，一致性哈希，JAVA算法，数据结构，加密算法，分布式缓存，Hadoop，Spark，Storm，YARN，机器学习，云计算共30个章节。