分布式技术带你分析认识缓存穿透/雪崩/击穿

Posted 2021-08-24 李浩宇Alex

使用场景

加速请求响应

缓存更新策略

• LRU(Least Recently Used)，根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高，则延迟其淘汰时间” - LRU缓存更新

• LFU(Least Frequently Used)根据数据的历史访问频率来淘汰数据，其核心思想是“如果数据过去被访问多次，那么将来被访问的频率也更高”- LFU缓存更新

• FIFO ，根据"先进先出" 思想来更新缓存数据

• 超时剔除 - expire

  • 主动更新 - 开发控制生命周期

  • 扩展：缓存污染 - 缓存污染降低了缓存的使用率，把不常用的数据读取到缓存，同时会把常用的数据移出缓存，这样会直接降低系统的数据命中率

缓存穿透问题

场景【key不存在，高并发查询数据库】

解决方法

分布式队列及分布式锁

缓存空对象：

如果一个查询返回的数据为空（不管是数据不存在，还是系统故障），仍然把这个空结果进行缓存，但它的过期时间会很短，不超过5分钟。通过这个直接设置的默认值存放到缓存，这样第二次到缓存中获取就有值了，而不会继续访问数据库。当修改或者新增改key的数据信息的时候，需要删除或者更新null缓存值**

存在的问题：

1. 需要更多的键，所以通常设置较短过期时间

2. 缓存层和存储层数据"短期"不一致

借用图：高可用架构

布隆过滤器：

对所有可能查询的参数以hash形式存储，在控制层先进行校验，不符合则丢弃，从而避免了对底层存储系统的查询压力。例如Redis可以使用bitMap来实现布隆过滤器。

借用图：高可用架构

缓存击穿问题

【单个热点key失效时，高并发查询数据库】

解决方法

使用分布式锁

使用本地缓存（双级缓存）

热点不过期

**到期前的续命

缓存雪崩问题

场景【多个key同时失效，高并发查询数据库】

解决方案

1. 对不用的数据使用随机动态分布的失效时间

2. 使用集群化分摊部署我们key

3. 使用二级缓存

4. 使用分布式锁

5. 数据预热：可以通过缓存reload机制，预先去更新缓存，再即将发生大并发访问前手动触发加载缓存不同的key，设置不同的过期时间，让缓存失效的时间点尽量均匀

6. 依赖隔离组件为后端限流并降级 在缓存失效后，通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询数据和写缓存，其他线程等待。