长这么大才读懂高并发核心编程，限流原理与实战，Nginx漏桶限流

Posted 2023-04-04 写代码的珏秒秒

nginx漏桶限流详解

使用Nginx可通过配置的方式完成接入层的限流，其ngx_http_limit_req_module模块所提供的limit_req_zone和limit_req两个指令使用漏桶算法进行限流。其中，limit_req_zone指令用于定义一个限流的具体规则（或者计数内存区），limit_req指令应用前者定义的规则完成限流动作。

假定要配置Nginx虚拟主机的限流规则为单IP限制为每秒1次请求，整个应用限制为每秒10次请求，具体的配置如下：

 #第一条规则名称为perip，每个相同客户端IP的请求限速在6次/分钟（1次/10秒）
limit_req_zone $binary_remote_addr zone=perip:10m rate=6r/m;
#第二条限流规则名称为preserver，同一虚拟主机的请求限速在10次/秒
 limit_req_zone $server_name zone=perserver:1m rate=10r/s;
 server 
 listen 8081 ;
 server_name localhost;
 default_type 'text/html';
 charset utf-8;
 limit_req zone=perip;
 limit_req zone=perserver;
 location /nginx/ratelimit/demo 
 echo "-uri= $uri -remote_addr= $remote_addr"
 "-server_name= $server_name" ;
 
 

上面的配置通过limit_req_zone指令定义了两条限流规则：第一条规则名称为perip，将来自每个相同客户端IP的请求限速在6次/分钟（1次/10秒）；第二条限流规则名称为preserver，用于将同一虚拟主机的请求限速在10次/秒。

以上配置位于练习工程LuaDemoProject的src/conf/nginxratelimit.conf文件中，在使之生效前需要在openresty-start.sh脚本中换上该配置文件，然后重启Nginx。接下来开始验证上面的限流配置。在浏览器中输入如下测试地址：

http://nginx.server:8081/nginx/ratelimit/demo

10秒内连续刷新，第1次的输出如图9-9所示。

图9-9 Nginx限流后10秒内连续刷新的第1次输出

10秒内连续刷新，第1次之后的输出如图9-10所示。

图9-10 Nginx限流后10秒内连续刷新第1次之后的输出

接下来详细介绍Nginx的limit_req_zone和limit_req两个指令。

limit_req_zone用于定义一个限流的具体规则，limit_req应用前者所定义的规则。limit_req_zone指令的格式如下：

语法：limit_req_zone key zone=name:size rate=rate [sync];
上下文：http配置块limit_req_zone指令的key部分是一个表达式，其运行时的值将作

为流量计数的关键字，key表达式包含变量、文本和它们的组合。在上面的配置实例中，$binary_remote_addr、$server_name为两个Nginx变量，$binary_remote_addr为客户端IP地址的二进制值，$server_name为虚拟机主机名称。在限流规则应用之后，它们的值将作为限流关键字key值，同一个key值会在限流的共享内存区域保存一份请求计数，而limit_req_zone限流指令所配置的速度限制只会对同一个key值发生作用。

limit_req_zone指令的zone属性用于定义存储相同key值的请求计数的共享内存区域，格式为name：size，name表示共享内存区域的名称（或者说限流规则的名称），size为共享内存区域的大小。上面的配置实例中，perip：10m表示一个名字为perip、大小为10MB的内存区域。

1MB大约能存储16 000个IP地址，10MB大约可以存储16万个IP地址，也就是可以对16万个客户端进行并发限速，当共享内存区域耗尽时，Nginx会使用LRU算法淘汰最长时间未使用的key值。

limit_req_zone指令的rate属性用于设置最大访问速率，rate=10r/s表示一个key值每秒最多能计数的访问数为10个（10个请求/秒），rate=6r/m表示一个key值每分钟最多能计数的访问数为6个（1个请求/10秒）。由于Nginx的漏桶限流的时间计算是基于毫秒的，当设置的速度为6r/m时，转换一下就是10秒内单个IP只允许通过1个请求，从第11秒开始才允许通过第二个请求。

limit_req_zone指令只是定义限流的规则和共享内存区域，规则要生效的话，还得靠limit_req限流指令完成。

limit_req指令的格式如下：

语法：limit_req zone=name [burst=number] [nodelay | delay=number];

上下文：http配置块，server配置块，location配置块limit_req指令的zone区域属性指定的限流共享内存区域（或者说限流的规则）与限流规则指令limit_req_zone中的name对应。

limit_req指令的burst突发属性表示可以处理的突发请求数。

limit_req指令的第二个参数burst是爆发数量的意思，此参数设置一个大小为number的爆发缓冲区，当有大量请求过来时，超过了限流频率的请求可以先放到爆发缓冲区内，直到爆发缓冲区满后才拒绝。

limit_req指令的burst参数的配置使得Nginx限流具备一定的突发流量的缓冲能力（有点像令牌桶）。但是burst的作用仅仅是让爆发的请求先放到队列里，然后慢慢处理，其处理的速度是由limit_req_zone规则指令配置的速度（比如1个请求/10秒），在速率低的情况下，其缓冲效果其实并不太理想。如果想迅速处理爆发的请求，那么可以再加上nodelay参数，队列中的请求会立即处理，而不再按照rate设置的速度（平均间隔）慢慢处理。

本文给大家讲解的内容是高并发核心编程，限流原理与实战，Nginx漏桶限流详解

1. 下篇文章给大家讲解的是高并发核心编程，限流原理与实战，实战：分布式令牌桶限流；
2. 觉得文章不错的朋友可以转发此文关注小编；
3. 感谢大家的支持！

一文让你读懂高并发编程的意义及其好处和注意事项

由于多核多线程的CPU的诞生，多线程、高并发的编程越来越受重视和关注。多线程可以给程序带来如下好处。
（1)充分利用CPU的资源
从上面的CPU的介绍，可以看的出来，现在市面上没有CPU的内核不使用多线程并发制
的，特别是服务器还不止一个CPU，如果还是使用单线程的技术做思路，明显就out了。因为程序的基本调度单元是线程，并且一个线程也只能在一个CPU的一个核的一个线程跑，如果你是一个i3的CPU的话，最差也是双核心4线程的运算能力；如果是一个线程的程序的话，那是要浪费3/4的CPU性能；如果设计一个多线程的程序的话，那它就可以同时在多个CPU的多个核的多个线程上跑，可以充分地利用CPU，减少CPU的空闲时间，发挥它的运算能力，提高并发量。

就像我们平时坐地铁一样，很多人坐长线地铁的时候都在认真看书，而不是为了坐地铁而坐
地铁，到家了再去看书，这样你的时间就相当于有了两倍。这就是为什么有些人时间很充裕，而有些人老是说没时间的一个原因，工作也是这样，有的时候可以并发地去做几件事情，充分利用我们的时间，CPU也是一样，也要充分利用。
（2）加快响应用户的时间
比如我们经常用的迅雷下载，都喜欢多开几个线程去下载，谁都不愿意用一个线程去下载，
为什么呢？答案很简单，就是多个线程下载快啊。
我们在做程序开发的时候更应该如此，特别是我们做互联网项目，网页的响应时间若提升ls，
如果流量大的话，就能增加不少转换量。做过高性能web前端调优的都知道，要将静态资源地址用两三个子域名去加载，为什么？因为每多一个子域名，浏览器在加载你的页面的时候就会多开几个线程去加载你的页面资源，提升网站的响应速度。多线程，高并发真的是无处不在。

（3）可以使你的代码模块化，异步化，简单化
例如我们在做Android程序开发的时候，主线程的UI展示部分是一块主代码程序部分，但是UI上的按钮用相应事件的处理程序就可以做个单独的模块程序拿出来。这样既增加了异步的操作，又使程序模块化，清晰化和简单化。时下最流行的异步程序处理机制，正是多线程、并发程序最好的应用例子。
相信多线程应用开发的好处还有很多，大家在日后的代码编写过程中可以慢慢体会它的魅力
所在。
接下来谈谈高并发、多线程要注意的问题：
（1）线程之间的安全性
从前面的章节中我们都知道，在同一个进程里面的多线程是资源共享的，也就是都可以访问
同一个内存地址当中的一个变量。例如：若每个线程中对全局变量、静态变量只有读操作，而无写操作，一般来说，这个全局变量是线程安全的：若有多个线程同时执行写操作，一般都需要考
虑线程同步，否则就可能影响线程安全。
这个我们会在后面章节中详细的说明。
（2）线程之间的死循环过程
为了解决线程之间的安全性引入了Java的锁机制，而一不小心就会产生Java线程死锁的多线程问题，因为不同的线程都在等待那些根本不可能被释放的锁，从而导致所有的工作都无法完成。假设有两个线程，分别代表两个饥饿的人，他们必须共享刀叉并轮流吃饭。他们都需要获得两个锁：共享刀和共享叉的锁。
假如线程A获得了刀，而线程B获得了叉。线程A就会进入阻塞状态来等待获得叉，而线
程B则阻塞来等待线程A所拥有的刀。这只是人为设计的例子，但尽管在运行时很难探测到，这类情况却时常发生。

（3）线程太多了会将服务器资源耗尽形成死机当机
线程数太多有可能造成系统创建大量线程而导致消耗完系统内存以及CPU的“过渡切换”
造成系统的死机，那么我们该如何解决这类问题呢？
某些系统资源是有限的，如文件描述符。多线程程序可能耗尽资源，因为每个线程都可能希
望有一个这样的资源。如果线程数相当大，或者某个资源的侯选线程数远远超过了可用的资源数，则最好使用。一个最好的示例是数据库连接池。只要线程需要使用一个数据库连接，它就从池中取出一个，使用以后再将它返回池中。资源池也称为。这里先有一个概念，后面会逐渐讲到线程池的概念。
多线程应用开发的注意事项很多，希望大家在日后的工作中可以慢慢体会它的危险所在。