限流及常用算法

Posted 2020-11-09 且听风吟

适用场景

当系统需要应用高并发的冲击时，一个最常用的策略是使用缓存提高系统容量，这通常是效果最好的方式，但如论如何提升系统容量，都会存在一个QPS/TPS的阈值，超过该阈值则认为系统不再稳定，因此需要采取措施屏蔽掉这些请求，达到系统稳定可用的目的。

 

实现这一目标的常见策略为限流：

 

限流，顾名思义就是限制流量的意思，既然支撑不了，那就不要死撑，而是采用拒绝服务、排队、降级等手段保证核心功能稳定可用。

 

限流一般分为两个层次：

• 系统级
• 现在系统庞大和复杂，系统级限流也即在系统入口处，根据限流策略，限流总并发，连接，请求数等，通常使用nginx实现。
• 应用级
• 可以限流应用级的并发，总资源数，某时间窗口访问数等，实现起来非常灵活，主要思想基于令牌桶，漏桶等算法

令牌桶算法

一个固定大小存放令牌的桶，按照固定的速率往桶中添加令牌，如果到达一个请求，则从桶中拿走一个另外，如果桶中没有令牌，则请求返回或排队。令牌桶可以应用瞬时流量冲击（令牌桶满的时候）

漏桶算法

漏桶算法也很好理解，桶的底部有一固定大小的孔，因此可以以固定流量流出，桶的顶部可以以任意速率向其中流入，直到桶满。漏桶算法常用于流量整形（平滑流量），无论外部请求如何密集，系统以固定速率处理，保证系统不会被瞬时流量压垮。

 

 

除此之外，也可以使用计数器进行限流，主要用于限制总并发数，如数据库连接池、线程池等都是计数器的用法，只要全局流量达到一定阈值则进行限流。

实现思路

由于我们的应用基于Spring框架实现，对接口级别的限流很容易想到使用切面来实现。主要思路有：

• 根据配置文件，采用单例模式，构建每个受控方法的令牌桶对象
• 使用AOP拦截对Controller层方法的访问
• 检查令牌桶中是否由令牌，如果没有则返回，有则继续