你花了多久弄明白架构设计？mongodbmysql数据一致性

Posted 2021-07-13 程序员DCS阿里

1、我往Redis里写的数据怎么没了？

使用Redis的同学你要明白一点，你为什么用Redis？用redis的作用是什么？用redis的好处是什么？凡事多思考一下为什么，多想想背后的原因。

就在不久前有朋友跟我说过，说他们生产环境的Redis怎么经常会丢掉一些数据？写进去了，过一会儿可能就没了。我的天啊，你问这个问题就说明Redis你就没用对啊。Redis是缓存，你给当存储了用了是吧？

首先要明白一点啥叫缓存？为啥用缓存？

Redis是用内存当缓存的。内存是无限的吗？相反，内存是很宝贵而且是有限的，磁盘是廉价而且是大量的。可能一台机器就几十个G的内存，但是可以有几个T的硬盘空间。Redis主要是基于内存来进行高性能、高并发的读写操作的。

那既然内存是有限的，比如Redis就只能用10个G，你一直往里面写数据，一直写一直写最后10个G都用的差不多了，你还写会，你想想会发生什么？当然会干掉一些的数据了，然后就保留10个G的数据。你说会不会造成数据丢失？

那Redis会干掉哪些数据？保留哪些数据呢？当然是干掉不常用的数据，保留常用的数据了。

所以说，这是缓存的一个最基本的概念：数据是会过期的。要么是你自己设置个过期时间，要么是Redis自己给干掉。

所以你的Redis如果使用不当，把生产数据存到里面，又没有去持久化到mysql，那就会有丢失的可能。

2、我的数据明明都过期了，怎么还占用着内存啊？

还有一种就是如果你给key设置好了一个过期时间，你知道到一定的时间再去查这个key就没有了，但是你知道redis是怎么给你弄成过期的吗？什么时候删除掉？

如果你不知道，在实际的使用过程中你就可能会发现这么一个问题：为啥好多数据明明应该过期了，结果发现redis内存占用还是很高？那是因为你不知道Redis是怎么删除那些过期key的。

举例，Redis 内存一共是10个G，你现在往里面写了5个G的数据，然后你对这些数据全都设置了10分钟之后过期，结果10分钟之后，你再来查看看，Redis的内存使用率怎么还是50%呢？5个G的数据都过期了，我从redis里查，是查不到了，结果过期的数据为啥还占用着Redis的内存呢。

如果你连这个问题都不知道，上来就懵了，回答不出来，建议你使用Redis之前多做做功课，不然你写代码的时候，想当然的认为写进Redis的数据就一定会存在，后面导致系统各种漏洞和bug，就不好弄了。

3、问题剖析

（1）设置过期时间

set key value 过期时间（1小时）表示set进去的key，1小时之后就没了，就失效了。

我们set key的时候，都可以给一个expire time，就是过期时间，指定这个key比如说只能存活1个小时？10分钟？这个很有用，我们自己可以指定缓存到期就失效。

如果假设你设置一批key只能存活1个小时，那么接下来1小时后，redis是怎么对这批key进行删除的？

答案是：定期删除+惰性删除

所谓定期删除，指的是Redis默认是每隔100ms就随机抽取一些设置了过期时间的key，检查其是否过期，如果过期就删除。

为什么是随机抽取？
假设Redis里放了10万个key，都设置了过期时间，你每隔几百毫秒，就检查10万个key，那redis基本上就死了，因为这样cpu负载会很高的，全都消耗在你的检查过期key上了。

所以这里可不是每隔100ms就遍历所有的设置过期时间的key，Redis如果设置成检查所有Key那将是一场性能上的灾难。所以实际上redis是每隔100ms随机抽取一些key来检查和删除的。

但是问题是，随机抽取检测key是否过去会导致定期删除策略可能会导致很多过期key到了时间并没有被删除掉，那咋整呢？所以Redis还有另一个策略就是惰性删除。

惰性删除 就是说，在你获取某个key的时候，Redis会检查一下 ，这个key如果设置了过期时间那么是否过期了？如果过期了此时就会删除，不会给你返回任何东西。

所以并不是key到时间就被删除掉，而是你查询这个key的时候，Redis再懒惰的检查一下。

通过上述两种手段，保证过期的key一定会被干掉。

那么刚才的问题就不难理解了，就是说，你的过期key，靠定期删除没有被删除掉，还停留在内存里，占用着你的内存呢，除非你的系统去查一下那个key，才会被redis给删除掉。如果都过期了，定期删除才删了一点点，而你又没有去查，没有触发惰性删除，那么短时间内你的redis内存占用率还是会下不来。

但是实际上这还是有问题的，如果定期删除漏掉了很多过期key，然后你也没及时去查，也就没走惰性删除，此时会怎么样？如果大量过期key堆积在内存里，导致redis内存块耗尽了，咋整？

别担心Redis还有方案：内存淘汰机制。

（2）内存淘汰策略

如果Redis的内存占用过多的时候，此时会进行内存淘汰，Redis提供如下丰富的可选策略：

1）noeviction：当内存不足以容纳新写入数据时，新写入操作会报错。
（这个一般没人用吧，实在是太恶心了）

2）allkeys-lru：当内存不足以容纳新写入数据时，在所有键空间中，移除最近最少使用的key
（这个是最常用的）

3）allkeys-random：当内存不足以容纳新写入数据时，在所有键空间中，随机移除某个key。
（这个一般没人用吧，为啥要随机，把我重要的key干掉了咋整，肯定是把最近最少使用的干掉）

4）volatile-lru：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，移除最近最少使用的key。
（这个一般不太合适）

5）volatile-random：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，随机移除某个key。

6）volatile-ttl：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，有更早过期时间的key优先移除。

例如：Redis 里有10个key，现在内存已经满了，设置的淘汰策略是allkeys-lru，此时Redis需要删除掉一些key来保证你可以继续写入。在这10个key中，其中1个key，最近1分钟被查询了100次，1个key，最近10分钟被查询了50次，1个key，最近1个小时被查询了1次。肯定那些最近最少使用的被干掉了。

为啥存redis的数据有时候会丢失？
很简单，你写的数据太多了，内存占满了，或者触发了什么条件，如redis使用了allkeys-lru内存淘汰策略，自动给你清理掉了一些最近很少使用的数据。

总目录展示

该笔记共八个节点（由浅入深），分为三大模块。

高性能。 秒杀涉及大量的并发读和并发写，因此支持高并发访问这点非常关键。该笔记将从设计数据的动静分离方案、热点的发现与隔离、请求的削峰与分层过滤、服务端的极致优化这4个方面重点介绍。

一致性。 秒杀中商品减库存的实现方式同样关键。可想而知，有限数量的商品在同一时刻被很多倍的请求同时来减库存，减库存又分为“拍下减库存”“付款减库存”以及预扣等几种，在大并发更新的过程中都要保证数据的准确性，其难度可想而知。因此，将用一个节点来专门讲解如何设计秒杀减库存方案。

高可用。 虽然介绍了很多极致的优化思路，但现实中总难免出现一些我们考虑不到的情况，所以要保证系统的高可用和正确性，还要设计一个PlanB来兜底，以便在最坏情况发生时仍然能够从容应对。笔记的最后，将带你思考可以从哪些环节来设计兜底方案。

---

篇幅有限，无法一个模块一个模块详细的展示（这些要点都收集在了这份《高并发秒杀顶级教程》里），觉得有需要的码友们，麻烦各位转发一下（可以帮助更多的人看到哟！）点这里，即可获得免费下载的方式！！

由于内容太多，这里只截取部分的内容。需要这份《高并发秒杀顶级教程》的小伙伴，麻烦各位帮忙点赞分享支持一下（可以帮助更多的人看到哟！）
片转存中…(img-rsp9KiGN-1625423223016)]

由于内容太多，这里只截取部分的内容。需要这份《高并发秒杀顶级教程》的小伙伴，麻烦各位帮忙点赞分享支持一下（可以帮助更多的人看到哟！）