你需要掌握的缓存技术实战
Posted 恰童鞋骚年
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了你需要掌握的缓存技术实战相关的知识，希望对你有一定的参考价值。
先介绍下背景，我是武汉某O2O电商公司开发组长，疫情震中的我被老板要求7天之内上线《疫情防控热点图》项目，几个组员回老家断网，最终就2个人完成开发上线，满足了10w+用户的高频访问。时间和人力都紧张，不能按照常态模式开发，很多技术选型也跟平时迥异。本文为大家专题分享一下缓存在本项目中的使用和踩的几个典型的坑，希望对大家能有所帮助。
按惯例，从前往后说。客户端缓存指的是让浏览器将一些数据缓存重用，避免重复请求。基本原理是利用Http协议缓存协商，在ResponseHeader里面指定下缓存策略即可，适合缓存一些静态资源。
本项目中用的非常多，各种css、js和小图标文件，都直接设置了30天缓存有效期，资源更新时，采用的是版本号缓存更新模式，直接在每个资源请求后面都带上了版本号，简单粗暴完成缓存更新。
CDN缓存和反向代理缓存的思路是差不多的，一个Http请求要经过DNS，要经过反向代理，那么在这两个环节加一层缓存也是必须的。不过由于项目开发周期短，7天就要求上线，CDN没折腾，反向代理缓存倒是立了大功。
项目的后端是3个ASP.NET Core WebApi服务实例构建的集群，用nginx做的负载均衡，然后加了个缓存解决了一个高频场景，小区周边疫情热点图。用Url+小区Id做为key，直接缓存了整个动态页，有效期1小时。很多用户进来就是看下自己小区热点图然后关闭了，差不多拦截了40%的请求量，反向代理缓存效果不要太牛！
两个都是服务端缓存，ASP.NET Core内置了MemoryCache作为本地缓存，也非常友好的支持了Redis分布式缓存，二者都是利用内存缓存数据重用以加快速度。由于后端是做的集群，为方便缓存共享，只用了Redis分布式缓存。
能缓存的数据就很多了，项目里几乎全部的数据都走了一遍缓存，即使是大家认为的实时数据，项目里面也是采用的双写方案，同步写数据库和Redis，查询直接走的Redis。此外，为减小数据写入压力，像用户登录、浏览记录、页面访问次数等即时信息也都是放在Redis里面的，满100次或者1h才同步一次数据库。
正常状况下的缓存使用还是挺简单的，最怕是遇到异常情况。这次项目不大，但是因为时间仓促，很多细节没处理好，几个缓存常见的坑都给踩了一遍。
然而，填完这个坑，又引出了新的坑。缓存预热时没注意缓存有效期的设置，缓存预热时将数据的过期时间都设置成了4小时，结果在4小时之后大量缓存同时过期，请求都到数据库了，幸亏当时是晚上10点，数据库好歹没倒。火速把项目升级了一下，将过期时间做了个随机变化，避免因为同时过期而造成的缓存雪崩。
最后是项目运行一周后，发现数据库的压力突然又上来了。通过日志排查发现是某个IP一直用一个不存在的数据Id高频访问(猜测是友商在测试)，因为数据库没有这个数据，缓存总是无法命中，导致请求都穿透缓存到了数据库。解决办法也简单，缓存逻辑加了个key-null，没有数据也能缓存。
上面整理了项目中各种缓存的基本原理和使用场景，也总结了自己踩的几个坑，希望能给大家一些帮助，也欢迎大家交流拍砖。具体的代码实现没法为大家一一展示（项目还在运营），不过我这里很用心的为大家推荐一个课程，是我最崇拜的Eleven老师讲的，文中关于缓存的方方面面都会覆盖到（本文也是应Eleven老师邀请写的），而且还是免费的哦！
最后，体贴的Eleven老师还说了，要给大家准备一组预习资料，方便大家的学习，大家赶紧扫码加美女小助教领取免费预习资料咯。
架构师之路，道阻且长，愿大家一起共同成长！
以上是关于你需要掌握的缓存技术实战的主要内容，如果未能解决你的问题，请参考以下文章