关于限流的技术方案和工程方案

Posted axman

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于限流的技术方案和工程方案相关的知识,希望对你有一定的参考价值。

今天在讨论一个限流的方案时,有一些想法记录下来:

需求:为了保护后端服务能力,需要在网关层做限流保护。这里的后端服务你可以理解为java容器,网关层你可以理解为前置的apache,nginx等服务。

一个技术方案是,增加一台中心存储的服务器,集群中所有nginx接受的请求都向这个中心存储汇报统计,并获取当前总请求数来判断本次请求是否要限制。这个是每个人都可以想到的方案。

但是考虑到稳定性问题,首先这个中心存储不能当机,如果是单机实现根本保证不了,如果是多机集群,那么作为中心存储的集群中所有机器的存储要同步,极大地影响实时性。同时每台nginx和中心存储服务的通讯要可靠,因为每一台nginx的上报都影响限流总数的计算。

所以这里的可靠性保证很难实现,我们修改了折衷的方案。把限流总量平均分配到每台nginx,如果限流10000,集群中有50台nginx服务器,那就每台限流200,这样做确实对精度影响,但实际上这个精度并没有到业务效果,10000目标实际限到9987还是10013,对后端的java容器性能影响并不明显。所有计算在nginx本地,实时性有了极大的保证。同时至少不会因为通讯问题产生统计不准。

对于集群的扩容和缩容,要动态重新计算每台nginx的限流量,否则扩容后总限流量就会增加了,但这种情况毕竟频率较低,属于一个静态的设置。相比集中存储的实时统计要可靠得多。

所以一些技术方案的决定要根据实施的可行性来选择,理论上的技术方案在实现时会有很多的折衷。

 

以上是关于关于限流的技术方案和工程方案的主要内容,如果未能解决你的问题,请参考以下文章

高并发三个方案

Redis 限流的3种方式,还有谁不会

基于Redis实现分布式应用限流--转

后台工程师来讲讲限流的思路

分布式解决方案之:限流

Guava-RateLimiter实现令牌桶控制接口限流方案