Nginx

Posted 2021-09-10 qq5ee630a16d38e

I/O模型

用户速度体验的1-3-10原则

电商网站 通常采用满屏加载

性能影响

• 有很多研究都表明，性能对用户的行为有很大的影响:
• 79%的用户表示不太可能再次打开一个缓慢的网站
• 47%的用户期望网页能在2秒钟以内加载
• 40%的用户表示如果加载时间超过三秒钟，就会放弃这个网站
• 页面加载时间延迟一秒可能导致转换损失7%，页面浏览量减少 11%
• 8秒定律:用户访问一个网站时，如果等待网页打开的时间超 过8秒，会有超过30%的用户放弃等待

Httpd MPM

• httpd MPM:
  • prefork:进程模型，两级结构，主进程master负责生成子进程，每个子进程负责响应一个请求
  • worker:线程模型，三级结构，主进程master负责生成子进程，每个子进程负责生成多个线程，每个线程响应一个请求
  • event:线程模型，三级结构,主进程master负责生成子进程，每个子进程响应多个请求

I/O介绍

• I/O:
  • 网络IO:本质是socket读取
  • 磁盘IO:
• 每次IO，都要经由两个阶段:
  • 第一步:将数据从磁盘文件先加载至内核内存空间(缓冲区)，等待数据准备完成，时间较长
  • 第二步:将数据从内核缓冲区复制到用户空间的进程的内 存中，时间较短

I/O模型

• 同步/异步:关注的是消息通信机制
  • 同步:synchronous，调用者自已主动等待被调用者返回消息，才能继续执行
  • 异步:asynchronous，被调用者通过状态、通知或回调机制主动通知调用者被调用者的运行状态
• 阻塞/非阻塞:关注调用者在等待结果返回之前所处的状态
  • 阻塞:blocking，指IO操作需要彻底完成后才返回到用户空间，调用结果返回之前，调用者被挂起
  • 非阻塞:nonblocking，指IO操作被调用后立即返回给用户一个状态值，无需等到IO操作彻底完成，最终的调用结果 返回之前，调用者不会被挂起
• I/O模型:
  • 阻塞型、非阻塞型、复用型、信号驱动型、异步

同步阻塞IO模型

• 同步阻塞IO模型是最简单的IO模型，用户线程在内核进行IO 操作时被阻塞
• 用户线程通过系统调用read发起IO读操作，由用户空间转到内核空间。内核等到数据包到达后，然后将接收的数据拷贝到用户空间，完成read操作
• 用户需要等待read将数据读取到buffer后，才继续处理接收 的数据。整个IO请求的过程中，用户线程是被阻塞的，这导 致用户在发起IO请求时，不能做任何事情，对CPU的资源利用率不够

同步非阻塞IO模型

• 用户线程发起IO请求时立即返回。但并未读取到任何数据， 用户线程需要不断地发起IO请求，直到数据到达后，才真正 读取到数据，继续执行。即 “轮询”机制
• 整个IO请求的过程中，虽然用户线程每次发起IO请求后可以 立即返回，但是为了等到数据，仍需要不断地轮询、重复请求 ，消耗了大量的CPU的资源
• 是比较浪费CPU的方式，一般很少直接使用这种模型，而是在 其他IO模型中使用非阻塞IO这一特性

IO多路复用模型

• 多个连接共用一个等待机制，本模型会阻塞进程，但是进程是阻塞在 select或者poll这两个系统调用上，而不是阻塞在真正的IO操作上

• 用户首先将需要进行IO操作添加到select中，继续执行做其他的工作(异 步)，同时等待select系统调用返回。当数据到达时，IO被激活，select 函数返回。用户线程正式发起read请求，读取数据并继续执行。

• 从流程上来看，使用select函数进行IO请求和同步阻塞模型没有太大的区 别，甚至还多了添加监视IO，以及调用select函数的额外操作，效率更差 。并且阻塞了两次，但是第一次阻塞在select上时，select可以监控多个 IO上是否已有IO操作准备就绪，即可达到在同一个线程内同时处理多个 IO请求的目的。而不像阻塞IO那种，一次只能监控一个IO

• 虽然上述方式允许单线程内处理多个IO请求，但是每个IO请求的过程还 是阻塞的(在select函数上阻塞)，平均时间甚至比同步阻塞IO模型还要 长。如果用户线程只是注册自己需要的IO请求，然后去做自己的事情，等 到数据到来时再进行处理，则可以提高CPU的利用率

• IO多路复用是最常使用的IO模型，但是其异步程度还不够“彻底”，因 为它使用了会阻塞线程的select系统调用。因此IO多路复用只能称为异步 阻塞IO模型，而非真正的异步IO

• IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备 读取，它就通知该进程

• IO多路复用适用如下场合:

• 当客户端处理多个描述符时(一般是交互式输入和网络套接口)，必须使用I/O复用

• 当一个客户端同时处理多个套接字时，此情况可能的但很少出现

• 当一个TCP服务器既要处理监听套接口，又要处理已连接套接口， 一般也要用到I/O复用

• 当一个服务器即要处理TCP，又要处理UDP，一般要使用I/O复用

• 当一个服务器要处理多个服务或多个协议，一般要使用I/O复用

信号驱动IO模型

• 信号驱动IO:signal-driven I/O
• 用户进程可以通过sigaction系统调用注册一个信号处理程序 ，然后主程序可以继续向下执行，当有IO操作准备就绪时， 由内核通知触发一个SIGIO信号处理程序执行，然后将用户 进程所需要的数据从内核空间拷贝到用户空间
• 此模型的优势在于等待数据报到达期间进程不被阻塞。用户主 程序可以继续执行，只要等待来自信号处理函数的通知
• 该模型并不常用

异步IO模型

• 异步IO与信号驱动IO最主要的区别是信号驱动IO是由内核通 知何时可以进行IO操作，而异步IO则是由内核告诉我们IO操 作何时完成了。具体来说就是，信号驱动IO当内核通知触发 信号处理程序时，信号处理程序还需要阻塞在从内核空间缓冲 区拷贝数据到用户空间缓冲区这个阶段，而异步IO直接是在 第二个阶段完成后内核直接通知可以进行后续操作了
• 相比于IO多路复用模型，异步IO并不十分常用，不少高性能 并发服务程序使用IO多路复用模型+多线程任务处理的架构基 本可以满足需求。况且目前操作系统对异步IO的支持并非特 别完善，更多的是采用IO多路复用模型模拟异步IO的方式( IO事件触发时不直接通知用户线程，而是将数据读写完毕后 放到用户指定的缓冲区中)

五种I/O模型

I/O模型的具体实现

• 主要实现方式有以下几种:
  • Select:Linux实现对应，I/O复用模型，BSD4.2最早实现
  • Poll:Linux实现，对应I/O复用模型，System V unix最早实现
  • Epoll:Linux实现，对应I/O复用模型，具有信号驱动I/O模型 的某些特性
  • Kqueue:FreeBSD实现，对应I/O复用模型，具有信号驱动I/O 模型的某些特性
  • /dev/poll:SUN的Solaris实现，对应I/O复用模型，具有信号 驱动I/O模型的某些特性
  • Iocp Windows实现，对应第5种(异步I/O)模型

select/poll/epoll

• Select:POSIX所规定，目前几乎在所有的平台上支持，其良 好跨平台支持也是它的一个优点，本质上是通过设置或者检查 存放fd标志位的数据结构来进行下一步处理

• 缺点

  • 单个进程可监视的fd数量被限制，即能监听端口的数量有限 cat /proc/sys/fs/file-max
  • 对socket是线性扫描，即采用轮询的方法，效率较低
  • select 采取了内存拷贝方法来实现内核将 FD 消息通知给 用户空间，这样一个用来存放大量fd的数据结构，这样会使 得用户空间和内核空间在传递该结构时复制开销大

• poll

  • 本质上和select没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个fd对应的设备状态
  • 其没有最大连接数的限制，原因是它是基于链表来存储的
  • 大量的fd的数组被整体复制于用户态和内核地址空间之间， 而不管这样的复制是不是有意义
  • poll特点是“水平触发”，如果报告了fd后，没有被处理， 那么下次poll时会再次报告该fd
  • 边缘触发:只通知一次

• epoll:在Linux 2.6内核中提出的select和poll的增强版本

  • 支持水平触发LT和边缘触发ET，最大的特点在于边缘触发，它只告诉进程哪些fd刚刚变为就需态，并且只会通知一次
  • 使用“事件”的就绪通知方式，通过epoll_ctl注册fd，一旦该fd 就绪，内核就会采用类似callback的回调机制来激活该fd， epoll_wait便可以收到通知

• 优点:

  • 没有最大并发连接的限制:能打开的FD的上限远大于1024(1G的内存能监听约10万个端口)
  • 效率提升:非轮询的方式，不会随着FD数目的增加而效率下降; 只有活跃可用的FD才会调用callback函数，即epoll最大的优点就 在于它只管理“活跃”的连接，而跟连接总数无关
  • 内存拷贝，利用mmap(Memory Mapping)加速与内核空间的消 息传递;即epoll使用mmap减少复制开销

nginx介绍

Nginx介绍

• Nginx:engine X ，2002年，开源，商业版
• NGINX是免费，开源，高性能的HTTP和反向代理服务器，邮件代理服务器，通用TCP/UDP代理服务器
• 解决C10K问题(10K Connections)
• 官网:http://nginx.org
• 二次开发版:
  • Tengine, OpenResty(章亦春)

正向代理和反向代理

Nginx介绍

• 特性:
  • 模块化设计，较好的扩展性
  • 高可靠性
  • 支持热部署:不停机更新配置文件，升级版本，更换日志文件 平滑迁移
  • 低内存消耗:10000个keep-alive连接模式下的非活动连接，仅 需要2.5M内存
  • event-driven,aio,mmap，sendfile
• 基本功能:
  • 静态资源的web服务器
  • http协议反向代理服务器
  • pop3/imap4协议反向代理服务器
  • FastCGI(LNMP),uWSGI(python)等协议
  • 模块化(非DSO)，如zip，SSL模块

nginx的程序架构

• web服务相关的功能:
  • 虚拟主机(server)
  • 支持 keep-alive 和管道连接
  • 访问日志(支持基于日志缓冲提高其性能)
  • url rewirte
  • 路径别名
  • 基于IP及用户的访问控制
  • 支持速率限制及并发数限制
  • 重新配置和在线升级而无须中断客户的工作进程
  • Memcached 的 GET 接口

nginx架构

nginx的程序架构

• nginx的程序架构:
  • master/worker结构
  • 一个master进程: 负载加载和分析配置文件、管理worker进程、平滑升级
  • 一个或多个worker进程 处理并响应用户请求
  • 缓存相关的进程:
    • cache loader:载入缓存对象
    • cache manager:管理缓存对象

nginx模块

• nginx高度模块化，但其模块早期不支持DSO机制;1.9.11版本支持动态装载和卸载
• 模块分类:
  • 核心模块:core module
  • 标准模块:
    • HTTP 模块: ngx_http_*
      • HTTP Core modules 默认功能
      • HTTP Optional modules 需编译时指定
    • Mail 模块 ngx_mail_*
    • Stream 模块 ngx_stream_*
  • 第三方模块

nginx的功用

• 静态的web资源服务器
  • html，图片，js，css，txt等静态资源
• 结合FastCGI/uWSGI/SCGI等协议反向代理动态资源请求
• http/https协议的反向代理
• imap4/pop3协议的反向代理
• tcp/udp协议的请求转发(反向代理)

Nginx安装

nginx的安装

• 官方: http://nginx.org/packages/centos/7/x86_64/RPMS
• Fedora-EPEL: https://mirrors.aliyun.com/epel/7/x86_64/
• 编译安装:
  • yum install pcre-devel openssl-devel zlib-devel
  • useradd -r nginx
  • ./configure --prefix=/usr/local/nginx --conf- path=/etc/nginx/nginx.conf --error-log- path=/var/log/nginx/error.log --http-log- path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid – lock-path=/var/run/nginx.lock --user=nginx --group=nginx – with-http_ssl_module --with-http_v2_module --with- http_dav_module --with-http_stub_status_module --with- threads --with-file-aio
  • make && make install

编译安装nginx选项

• 编译安装nginx选项:
  • –prefix=/etc/nginx 安装路径
  • –sbin-path=/usr/sbin/nginx 指明nginx程序文件安装路径
  • –conf-path=/etc/nginx/nginx.conf 主配置文件安装位置
  • –error-log-path=/var/log/nginx/error.log 错误日志文件安 装位置
  • –http-log-path=/var/log/nginx/access.log 访问日志文件安 装位置
  • –pid-path=/var/run/nginx.pid 指明pid文件安装位置
  • –lock-path=/var/run/nginx.lock 锁文件安装位置
  • –http-client-body-temp- path=/var/cache/nginx/client_temp 客户端body部分的临时 文件存放路径，如果服务器允许客户端使用put方法提交大数据 时，临时存放的磁盘路径
  • –http-proxy-temp-path=/var/cache/nginx/proxy_temp 作为代理服务器，服务器响应报文的临时文件存放路径
  • –http-fastcgi-temp- path=/var/cache/nginx/fastcgi_temp 作为fastcgi代理服务 器，服务器响应报文的临时文件存放路径
  • –http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp 作为uwsgi代理服务器，服务器响应报文的临时文件存放路径
  • –http-scgi-temp-path=/var/cache/nginx/scgi_temp 作为 scgi反代服务器，服务器响应报文的临时文件存放路径
  • –user=nginx 指明以那个身份运行worker进程，主控master 进程一般由root运行
  • –group=nginx
  • –with-http_ssl_module 表示把指定模块编译进来

nginx目录结构和命令

• ls /usr/local/nginx/ html是测试页，sbin是主程序
• ls /usr/local/nginx/sbin/ nginx 只有一个程序文件
• ls /usr/local/nginx/html/ 50x.html index.html 测试网页
• Nginx:默认为启动nginx -h 查看帮助选项
  • -V 查看版本和配置选项
  • -t 测试nginx语法错误
  • -c filename 指定配置文件(default: /etc/nginx/nginx.conf)
  • -s signal 发送信号给master进程，signal可为:stop, quit, reopen, reload 示例:-s stop 停止nginx -s reload 加载配置文件
  • -g directives 在命令行中指明全局指令

nginx配置

• 配置文件的组成部分:
  • 主配置文件:nginx.conf
  • 子配置文件 include conf.d/*.conf
  • fastcgi， uwsgi，scgi等协议相关的配置文件
  • mime.types:支持的mime类型
• 主配置文件的配置指令:
  • directive value [value2 …];
• 注意:
  • (1) 指令必须以分号结尾
  • (2) 支持使用配置变量
    • 内建变量:由Nginx模块引入，可直接引用 自定义变量:由用户使用set命令定义
      • set variable_name value;
    • 引用变量:$variable_name

nginx配置文件

• 主配置文件结构:四部
  • main block:主配置段，即全局配置段，对http,mail都有效

  event {
  ... 
  } 事件驱动相关的配置
  * http
  ```shell
  http { 
  ... 
  }   http/https 协议相关配置段
  

  • mail

  mail { 
  ... 
  }   mail 协议相关配置段 
  

  • stream

  stream { 
  ...
  } stream 服务器相关配置段 
  

http协议相关的配置结构

http {
	... 
.	... 各server的公共配置 
	server {  每个server用于定义一个虚拟主机 
		    ... 
		    } 
	server { 
		    ...
		    server_name 虚拟主机名 
   		    root 主目录
		    alias 路径别名
		    location [OPERATOR] URL {     指定URL的特性 
				  ...
				  if CONDITION { 
... 
				   }
		     } 
		} 
} 

nginx配置

• Main 全局配置段常见的配置指令分类

  • 正常运行必备的配置
  • 优化性能相关的配置
  • 用于调试及定位问题相关的配置
  • 事件驱动相关的配置

• 帮助文档 http://nginx.org/en/docs/

• 正常运行必备的配置:

• 帮助文档:http://nginx.org/en/docs/ngx_core_module.html

  • 1、user
    • Syntax: user user [group];
    • Default: user nobody nobody;
    • Context: main
    • 指定worker进程的运行身份，如组不指定，默认和用户名同名
  • 2、pid /PATH/TO/PID_FILE 指定存储nginx主进程PID的文件路径
  • 3、include file | mask 指明包含进来的其它配置文件片断
  • 4、load_module file
    • 模块加载配置文件:/usr/share/nginx/modules/*.conf
    • 指明要装载的动态模块路径: /usr/lib64/nginx/modules

• 性能优化相关的配置:

  • 1、worker_processes number | auto
    worker进程的数量;通常应该为当前主机的cpu的物理核心数
  • 2、worker_cpu_affinity cpumask …
    • worker_cpu_affinity auto [cpumask] 提高缓存命中率
    • CPU MASK:
      • 00000001:0号CPU
      • 00000010:1号CPU
      • 10000000:8号CPU
    • worker_cpu_affinity 0001 0010 0100 1000;
    • worker_cpu_affinity 0101 1010;
  • 3、worker_priority number
    指定worker进程的nice值，设定worker进程优先级:[-20,20]
  • 4、worker_rlimit_nofile number
    worker进程所能够打开的文件数量上限,如65535

• 事件驱动相关的配置:
  events {
  …
  }

  • 1、worker_connections number 每个worker进程所能够打开的最大并发连接数数量，如10240 总最大并发数:worker_processes * worker_connections
  • 2、use method
    指明并发连接请求的处理方法 ,默认自动选择最优方法 use epoll;
  • 3、accept_mutex on | off 互斥 处理新的连接请求的方法;on指由各个worker轮流处理新请求 ，Off指每个新请求的到达都会通知(唤醒)所有的worker进程，但只有一个进程可获得连接，造成“惊群”，影响性能

• 调试和定位问题:

  • 1、daemon on|off
    是否以守护进程方式运行nignx，默认是守护进程方式
  • 2、master_process on|off
    是否以master/worker模型运行nginx;默认为on ，off 将不启动worker
  • 3、error_log file [level]
    • 错误日志文件及其级别;出于调试需要，可设定为debug;但 debug仅在编译时使用了“–with-debug”选项时才有效
    • 方式:
      • file /path/logfile;
      • stderr:发送到标准错误
      • syslog:server-address[,parameter=values]:发送到syslog
      • memory:size 内存
      • level:debug|info|notice|warn|error|crit|alter|emerg

http协议的相关配置

http { 
... ... 
	server { 
		...
		server_name
		root
		location [OPERATOR] /uri/ { 
			... 
		} 
	}
	server { 
	... 
	} 
} 

Nginx各种模块

ngx_http_core_module

• ngx_http_core_module
• 与套接字相关的配置:
  • 1、server { … }
  • 配置一个虚拟主机
    server {
    listen address[:PORT]|PORT;
    server_name SERVER_NAME;
    root /PATH/TO/DOCUMENT_ROOT;
    }
  • 2、listen PORT|address[:port]|unix:/PATH/TO/SOCKET_FILE listen address[:port] [default_server] [ssl] [http2 | spdy] [backlog=number] [rcvbuf=size] [sndbuf=size]
    • default_server 设定为默认虚拟主机
    • ssl 限制仅能够通过ssl连接提供服务
    • backlog=number 超过并发连接数后，新请求进入后援队列的长度
    • rcvbuf=size 接收缓冲区大小
    • sndbuf=size 发送缓冲区大小
    • 注意:
      • (1) 基于port; listen PORT; 指令监听在不同的端口
      • (2) 基于ip的虚拟主机;listen IP:PORT; IP 地址不同
      • (3) 基于hostname，server_name fqdn; 指令指向不同的主机名
  • 3、server_name name …;
    • 虚拟主机的主机名称后可跟多个由空白字符分隔的字符串
    • 支持*通配任意长度的任意字符
      • server_name .yangyang.host www.yangyang.
    • 支持~起始的字符做正则表达式模式匹配，性能原因慎用
      • server_name ~^www\\d+.magedu.com$ \\d 表示 [0-9]
    • 匹配优先级机制从高到低:
      • (1) 首先是字符串精确匹配 如:www.magedu.com
      • (2) 左侧通配符 如:.magedu.com
      • (3) 右侧通配符 如:www.magedu.
      • (4) 正则表达式 如: ~^.*.magedu.com$
      • (5) default_server
  • 4、tcp_nodelay on | off; 在keepalived模式下的连接是否启用TCP_NODELAY选项
    • 当为off时，延迟发送，合并多个请求后再发送
    • 默认On时，不延迟发送
    • 可用于:http, server, location
  • 5、sendfile on | off; 是否启用sendfile功能，在内核中封装报文直接发送 默认Off
  • 6、server_tokens on | off | build | string 是否在响应报文的Server首部显示nginx版本
  • 7、定义路径相关的配置
    • root
    • 设置web资源的路径映射;用于指明请求的URL所对应的文档 的目录路径，可用于http, server, location, if in location
      server {
      …
      root /data/www/vhost1;
      }
    • 示例 http://www.magedu.com/images/logo.jpg --> /data/www/vhosts/images/logo.jpg
  • 8、location [ = | ~ | ~* | ^~ ] uri { … } location @name { … }
    • 在一个server中location配置段可存在多个，用于实现从uri到 文件系统的路径映射;ngnix会根据用户请求的URI来检查定义的所有 location，并找出一个最佳匹配，而后应用其配置
    • 示例:
      server {…
      server_name www.magedu.com;、
      location /images/ {
      root /data/imgs/;
      }
      }
      http://www.magedu.com/images/logo.jpg --> /data/imgs/images/logo.jpg
      所以意思是，如果 /images/中的/等于 /data/imgs/ 访问 /images/其实就是去访问/data/imgs/images
    • =:对URI做精确匹配;
      location = / {
      …
      }
      http://www.yangyang.host/ 匹配
      http://www.yangyang.host/index.html 不匹配
    • ^~:对URI的最左边部分做匹配检查，不区分字符大小写
    • ~:对URI做正则表达式模式匹配，区分字符大小写
    • ~*:对URI做正则表达式模式匹配，不区分字符大小写
    • 不带符号:匹配起始于此uri的所有的uri
    • 匹配优先级从高到低:
      • =, ^~, _/*, 不带符号
    • 示例:
      • root /vhosts/www/htdocs/
        http://www.yangyang.host/index.html --> /vhosts/www/htdocs/index.html
      • server {
        root /vhosts/www/htdocs/
        location /admin/ {
        root /webapps/app1/data/
        }
        }
        http://www.yangyang.host/admin/index.html --> /webapps/app1/data/admin/index.html
    • location示例

location = / {
	[ configuration A ] 				http://www.yangyang.host/
}

location / {
	[ configuration B ] 				http://www.yangyang.host/index.html 
}

location /documents/ { 
	[ configuration C ] 				http://www.yangyang.host/documents/logo.jpg
} 

location ^~ /images/ {
	[ configuration D ] 				http://www.yangyang.host/documents/linux.txt 

}

location ~* \\.(gif|jpg|jpeg)$ { 
	[ configuration E ]       			http://www.yangyang.host/images/logo.jpeg 

} 

• 9、alias path;

  • 路径别名，文档映射的另一种机制;仅能用于location上下文
  • 示例:

    http://www.magedu.com/bbs/index.php 
    location /bbs/ { 
    	alias /web/forum/;
    } --> /web/forum/index.html 
    location /bbs/ { 
    	root /web/forum/;
    } --> /web/forum/bbs/index.html
    

  • 注意:location中使用root指令和alias指令的意义不同
    • (a) root，给定的路径对应于location中的/uri/左侧的/
    • (b) alias，给定的路径对应于location中的/uri/右侧的/

• 10、index file …;

  • 指定默认网页文件，注意:ngx_http_index_module模块

• 11、error_page code … [=[response]]

  • uri; 模块:ngx_http_core_module
  • 定义错误页，以指定的响应状态码进行响应
  • 可用位置:http, server, location, if in location
  • error_page 404 /404.html
  • error_page 404 =200 /404.html
    

• 12、try_files file … uri; try_files file … =code;
  按顺序检查文件是否存在，返回第一个找到的文件或文件夹(结尾加斜线 表示为文件夹)，如果所有的文件或文件夹都找不到，会进行一个内部重 定向到最后一个参数。只有最后一个参数可以引起一个内部重定向，之前 的参数只设置内部URI的指向。最后一个参数是回退URI且必须存在，否则会出现内部500错误
  location /images/ {
  try_files $uri /images/default.gif; #这里/images/default.gif的路径不是磁盘绝对路径，是uri路径
  }
  location / {
  try_files $uri $uri/index.html $uri.html =404;
  }

• 定义客户端请求的相关配置

  • 13、keepalive_timeout timeout [header_timeout];
    设定保持连接超时时长，0表示禁止长连接，默认为75s
  • 14、keepalive_requests number;
    在一次长连接上所允许请求的资源的最大数量 默认为100
  • 15、keepalive_disable none | browser …
    对哪种浏览器禁用长连接
  • 16、send_timeout time;
    向客户端发送响应报文的超时时长，此处是指两次写操作之间的间隔时长，而非整个响应过程的传输时长
  • 17、client_body_buffer_size size;
    用于接收每个客户端请求报文的body部分的缓冲区大小 ;默认为16k;超出此大小时，其将被暂存到磁盘上的由下面 client_body_temp_path指令所定义的位置
  • 18、client_body_temp_path path [level1 [level2 [level3]]];
    设定用于存储客户端请求报文的body部分的临时存储路 径及子目录结构和数量
    • 目录名为16进制的数字;
      • client_body_temp_path /var/tmp/client_body 1 2 2
        • 1 1级目录占1位16进制，即2^4=16个目录 0-f
        • 2 2级目录占2位16进制，即2^8=256个目录 00-ff
        • 2 3级目录占2位16进制，即2^8=256个目录 00-ff
  • 对客户端进行限制的相关配置
  • 19、limit_rate rate;
    • 限制响应给客户端的传输速率，单位是bytes/second
    • 默认值0表示无限制
  • 20、limit_except method … { … }，仅用于location限制客户端使用除了指定的请求方法之外的其它方法
    • method:GET, HEAD, POST, PUT, DELETE MKCOL, COPY, MOVE, OPTIONS, PROPFIND, PROPPATCH, LOCK, UNLOCK, PATCH

      limit_except GET {
      allow 192.168.1.0/24; 
      deny all; 
      } 
      

      除了GET和HEAD 之外其它方法仅允许192.168.1.0/24网 段主机使用

• 文件操作优化的配置

  • 21、aio on | off | threads[=pool];
    是否启用aio功能
  • 22、directio size | off;
    当文件大于等于给定大小时，例如directio 4m，同步(直接)写磁盘 ，而非写缓存
  • 23、open_file_cache off;
    open_file_cache max=N [inactive=time]; nginx可以缓存以下三种信息:
    • (1) 文件元数据:文件的描述符、文件大小和最近一次的修改时间
    • (2) 打开的目录结构
    • (3) 没有找到的或者没有权限访问的文件的相关信息
    • max=N:可缓存的缓存项上限;达到上限后会使用LRU算法实现管理
    • inactive=time:缓存项的非活动时长，在此处指定的时长内未被命中 的或命中的次数少于open_file_cache_min_uses指令所指定的次数的缓存项 即为非活动项，将被删除
  • 24、open_file_cache_errors on | off; 是否缓存查找时发生错误的文件一类的信息 默认值为off
  • 25、open_file_cache_min_uses number; open_file_cache指令的inactive参数指定的时长内，至
    少被命中此处指定的次数方可被归类为活动项 默认值为1
  • 26、open_file_cache_valid time; 缓存项有效性的检查频率
    • 默认值为60s

ngx_http_access_module

• ngx_http_access_module模块 实现基于ip的访问控制功能
• 1、allow address | CIDR | unix: | all;
• 2、deny address | CIDR | unix: | all;
  • http, server, location, limit_except
  • 自上而下检查，一旦匹配，将生效，条件严格的置前
• 示例:

location / {
	deny 192.168.1.1; 
	allow 192.168.1.0/24; 
	allow 10.1.1.0/16; 
	allow 2001:0db8::/32; 
	deny all; 
} 

ngx_http_auth_basic_module

• ngx_http_auth_basic_module模块
  • 实现基于用户的访问控制，使用basic机制进行用户认证
  • 1、auth_basic string | off;
  • 2、auth_basic_user_file file;

    location /admin/ {
    	auth_basic "Admin Area"; 
    	auth_basic_user_file /etc/nginx/.ngxpasswd; 
    } 
    * 用户口令文件: 
        * 1、明文文本:格式name:password:comment 
        * 2、加密文本:由htpasswd命令实现 httpd-tools所提供
    
    

ngx_http_stub_status_module

• ngx_http_stub_status_module模块
  • 用于输出nginx的基本状态信息 输出信息示例:
    • Active connections: 291
    • server accepts handled requests
      • 16630948 16630948 31070465
      • 上面三个数字分别对应accepts,handled,requests三个值
    • Reading: 6 Writing: 179 Waiting: 106
    • Active connections:当前状态，活动状态的连接数
    • accepts:统计总值，已经接受的客户端请求的总数
    • handled:统计总值，已经处理完成的客户端请求的总数
    • requests:统计总值，客户端发来的总的请求数
    • Reading:当前状态，正在读取客户端请求报文首部的连接的连接数
    • Writing:当前状态，正在向客户端发送响应报文过程中的连接数
    • Waiting:当前状态，正在等待客户端发出请求的空闲连接数
• 1、stub_status; 示例:

location /status { 
	stub_status; 
	allow 172.16.0.0/16; 
	deny all; 
} 

ngx_http_log_module

• ngx_http_log_module模块 指定日志格式记录请求

  • 1、log_format name string …;

    • string可以使用nginx核心模块及其它模块内嵌的变量

  • 2、access_log path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]];
    access_log off;
    访问日志文件路径，格式及相关的缓冲的配置

    • buffer=size
    • flush=time

  • 示例

    • log_format compression ‘ r e m o t e a d d r − remote_addr- remotea​ddr−remote_user [KaTeX parse error: Double superscript at position 15: time_local] \' \'̲"request" $status KaTeX parse error: Double superscript at position 14: bytes_sent \' \'̲"http_referer" “ h t t p u s e r a g e n t " " http_user_agent" " httpu​sera​gent""gzip_ratio”’;
    • access_log /spool/logs/nginx-access.log compression buffer=32k;

  • log_format需要放在http里

  • 3、open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];

    • open_log_file_cache off;
    • 缓存各日志文件相关的元数据信息
    • max:缓存的最大文件描述符数量
    • min_uses:在inactive指定的时长内访问大于等于此值方 可被当作活动项
    • inactive:非活动时长 valid:验证缓存中各缓存项是否为活动项的时间间隔

ngx_http_gzip_module

• ngx_http_gzip_module 用gzip方法压缩响应数据，节约带宽
  • 1、gzip on | off;
    • 启用或禁用gzip压缩
  • 2、gzip_comp_level level;
    • 压缩比由低到高:1 到 9
    • 默认:1
  • 3、gzip_disable regex …;
    • 匹配到客户端浏览器不执行压缩
  • 4、gzip_min_length length;
    • 启用压缩功能的响应报文大小阈值
  • 5、gzip_http_version 1.0 | 1.1;
    • 设定启用压缩功能时，协议的最小版本
    • 默认:1.1
  • 6、gzip_buffers number size;
    • 支持实现压缩功能时缓冲区数量及每个缓存区的大小
    • 默认:32 4k 或 16 8k
  • 7、gzip_types mime-type …;
    • 指明仅对哪些类型的资源执行压缩操作;即压缩过滤器
    • 默认包含有text/html，不用显示指定，否则出错
  • 8、gzip_vary on | off;
    • 如果启用压缩，是否在响应报文首部插入“Vary: Accept- Encoding”
  • 9、gzip_proxied off | expired | no-cache | no-store | private | no_last_modified | no_etag | auth | any …;
    • nginx充当代理服务器时，对于后端服务器的响应报文，在何种条件下启用压缩功能
    • off:不启用压缩
    • expired,no-cache, no-store，private:对后端服务器的响应报文首部Cache-Control值任何一个，启用压缩功能
  • 示例:
    • gzip on;
    • gzip_comp_level 6;
    • gzip_min_length 64;
    • gzip_proxied any;
    • gzip_types text/xml text/css application/javascript;

ngx_http_ssl_module

• ngx_http_ssl_module模块:
  • 1、ssl on | off;
    • 为指定虚拟机启用HTTPS protocol， 建议用listen指令代替
  • 2、ssl_certificate file;
    • 当前虚拟主机使用PEM格式的证书文件
  • 3、ssl_certificate_key file;
    • 当前虚拟主机上与其证书匹配的私钥文件
  • 4、ssl_protocols [SSLv2] [SSLv3] [TLSv1] [TLSv1.1] [TLSv1.2];
    • 支持ssl协议版本，默认为后三个
  • 5、ssl_session_cache off | none | [builtin[:size]] shared:name:size;
    • none: 通知客户端支持ssl session cache，但实际不支持
    • builtin[:size]:使用OpenSSL内建缓存，为每worker进程私有
  • 6、ssl_session_timeout time;
    • 客户端连接可以复用ssl session cache中缓存的ssl参数的有效时长，默认5m
  • 示例:

  server {
  		listen 443 ssl; 
  		server_name www.magedu.com;
  		root /vhosts/ssl/htdocs;
  		ssl on;
  		ssl_certificate /etc/nginx/ssl/nginx.crt; 
  		ssl_certificate_key /etc/nginx/ssl/nginx.key; 
  		ssl_session_cache shared:sslcache:20m; 
  		ssl_session_timeout 10m; 
  } 
  

实验：实现多个虚拟主机ssl

1 生成证书和私钥文件
cd /etc/pki/tls/certs
make a.crt 默认加密key文件
openssl rsa -in a.key -out aa.key 去掉口令

vim /etc/pki/tls/certs/Makefile
%.key:
umask 77 ;
/usr/bin/openssl genrsa $(KEYLEN) > $@ 删除-aes128

2 实现
vim /etc/nginx/conf.d/vhosts.conf
server {
listen 443 ssl;
server_name www.a.com;
root /data/web1/;
ssl on;
ssl_certificate /etc/nginx/conf.d/ssl/a.crt;
ssl_certificate_key /etc/nginx/conf.d/ssl/aa.key;
ssl_session_cache shared:sslcache:20m;
ssl_session_timeout 10m;

}
server {
listen 443 ssl;
server_name www.b.com;
root /data/web2;
ssl on;
ssl_certificate /etc/nginx/conf.d/ssl/b.crt;
ssl_certificate_key /etc/nginx/conf.d/ssl/bb.key;
ssl_session_cache shared:sslcache:20m;
ssl_session_timeout 10m;

}

ngx_http_rewrite_module

• ngx_http_rewrite_module模块:
  • The ngx_http_rewrite_module module is used to change request URI using PCRE regular expressions, return redirects, and conditionally select configurations.
  • 将用户请求的URI基于PCRE regex所描述的模式进行检 查，而后完成重定向替换
• 示例:
  • http://www.yangyang.host/hn --> http://www.yangyang.host/henan
  • http://www.yangyang.host —> https://www.yangyang.host/
• 1、rewrite regex replacement [flag]
  • 将用户请求的URI基于regex所描述的模式进行检查，匹配到时将其替换为replacement指定的新的URI
  • 注意:如果在同一级配置块中存在多个rewrite规则，那么会自下而下逐个检查;被某条件规则替换完成后，会重新一轮 的替换检查
  • 隐含有循环机制,但不超过10次;如果超过，提示500响应码，[flag]所表示的标志位用于控制此循环机制
  • 如果replacement是以http://或https://开头，则替换 结果会直接以重向返回给客户端, 即永久重定向301
• [flag]:
  • last:重写完成后停止对当前URI在当前location中后续 的其它重写操作，而后对新的URI启动新一轮重写检查;提前重 启新一轮循环，不建议在location中使用
  • break:重写完成后停止对当前URI在当前location中后 续的其它重写操作，而后直接跳转至重写规则配置块之后的其它 配置;结束循环，建议在location中使用
  • redirect:临时重定向，重写完成后以临时重定向方式直 接返回重写后生成的新URI给客户端，由客户端重新发起请求; 使用相对路径,或者http://或https://开头，状态码:302
  • permanent:重写完成后以永久重定向方式直接返回重写 后生成的新URI给客户端，由客户端重新发起请求，状态码: 301
• 2、return
  • eturn code [text];
  • return code URL;
  • return URL; 停止处理，并返回给客户端指定的响应码
• 3、rewrite_log on | off;
  • 是否开启重写日志, 发送至error_log(notice level)
• 4、set v a r i a b l e v a l u e ; ∗ 用 户 自 定 义 变 量 ∗ 注 意 : 变 量 定 义 和 调 用 都 要 以 variable value; * 用户自定义变量 * 注意:变量定义和调用都要以 variablevalue;∗用户自定义变量∗注意:变量定义和调用都要以开头
• 5、if (condition) { … }
  • 引入新的上下文,条件满足时，执行配置块中的配置指令;server, location
  • condition:
    • 比较操作符:
      • = 相同
      • != 不同
      • ~:模式匹配，区分字符大小写
      • ~*:模式匹配，不区分字符大小写
      • !~:模式不匹配，区分字符大小写
      • !~*:模式不匹配，不区分字符大小写
    • 文件及目录存在性判断:
      • -e, !-e 存在(包括文件，目录，软链接)
      • -f, !-f 文件
      • -d, !-d 目录
      • -x, !-x 执行

实验：rewrite 实现http跳转到https

server {
listen 80;
listen 443 ssl;
server_name www.a.com;
access_log /data/logs/nginx-access.log comp ;
root /data/web11/;
ssl on;
ssl_certificate /etc/nginx/conf.d/ssl/a.crt;
ssl_certificate_key /etc/nginx/conf.d/ssl/a.key;
ssl_session_cache shared:sslcache:20m;
ssl_session_timeout 10m;
location / {
if ($scheme = http ) {
rewrite / https://www.a.com/ permanent;
}
}
location /status {
stub_status;
}
}

ngx_http_referer_module

• ngx_http_referer_module模块:
  • 用来阻止Referer首部无有效值的请求访问，可防止盗链
• 1、valid_referers none|blocked|server_names|string …;
  • 定义referer首部的合法可用值，不能匹配的将是非法值
  • none:请求报文首部没有referer首部
  • blocked:请求报文有referer首部，但无有效值
  • server_names:参数，其可以有值作为主机名或主机名模式
  • arbitrary_string:任意字符串，但可使用*作通配符
  • regular expression:被指定的正则表达式模式匹配到的字符 串,要使用~开头，例如: ~.*.yangyang.host
• 示例:
  valid_referers none block server_names .yangyang.host .yangyang.host yangyang. yangyang. ~.yangyang.;
  if ($invalid_referer) {
  return 403 http://www.yangyang.host;
  }

实验：防盗

vim link.html

<img src="http://www.b.com/logo.jpg" > 
```shell
server {
        server_name www.b.com;
        root /data/web2;
        access_log /data/logs/nginx-access-b.log comp ;
        valid_referers none block server_names *.b.com  b.*  ~\\.baidu\\.;
        if ($invalid_referer) {
                return 403 http://www.magedu.com/;
        }
}

ngx_http_proxy_module

• ngx_http_proxy_module模块: 转发请求至另一台主机
• 1、proxy_pass URL;
  • Context:location, if in location, limit_except
  • 注意:proxy_pass后面路径不带uri时，会将location的uri传递(附加)给后端主机

server { 
		... 
		server_name HOSTNAME; 
		location /uri/ { 
			proxy_pass http://host[:port]; 最后没有/ 
		} 
		... 
}

• 上面示例:http://HOSTNAME/uri --> http://host/uri
• 如果上面示例中有 /，即:http://host[:port]/ 意味着:http://HOSTNAME/uri --> http://host/ 即置换
• 意思就是，如果proxy_pass http://URI 这里跟的不是主站加/的话 ，就会转发到http://URI/uri/

实验：动静分离

server {
        listen 80;
        server_name www.a.com;
        root /data/web1/;
        location / {
                proxy_pass http://192.168.27.17;
        }
        location ~* \\.php$ {
                proxy_pass http://192.168.27.6;
        }

        access_log /data/logs/nginx-access-a.log comp ;
}

• proxy_pass后面的路径是一个uri时，其会将location的uri替换为proxy_pass的uri

server { 
	... 
	server_name HOSTNAME; 
	location /uri/ { 
		proxy_pass http://host/new_uri/; 
	} 
	... 
} 
http://HOSTNAME/uri/ --> http://host/new_uri/ 

• 如果location定义其uri时使用了正则表达式的模式，则 proxy_pass之后必须不能使用uri; 用户请求时传递的uri将直 接附加至后端服务器之后

server { 
	... 
	server_name HOSTNAME; 
	location ~|~* /uri/ { 
		proxy_pass http://host; 不能加/ 
	} 
	... 
} 
http://HOSTNAME/uri/ --> http://host/uri/ 

• 2、proxy_set_header field value;
  • 设定发往后端主机的请求报文的请求首部的值
  • Context: http, server, location
  • proxy_set_header X-Real-IP $remote_addr;
  • proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    • 请求报文的标准格式如下:
      • X-Forwarded-For: client1, proxy1, proxy2
• 3、proxy_cache_path;
  • 定义可用于proxy功能的缓存;Context:http
  • proxy_cache_path path [levels=levels] [use_temp_path=on|off]
  • keys_zone=name:size [inactive=time] [max_size=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];
• 4、proxy_cache zone | off;
  • 默认off 指明调用的缓存，或关闭缓存机制;Context:http, server, location
• 5、proxy_cache_key string;
  • 缓存中用于“键”的内容
  • 默认值:proxy_cache_key s c h e m e scheme schemeproxy_host$request_uri;
• 6、proxy_cache_valid [code …] time;
  • 定义对特定响应码的响应内容的缓存时长
  • 定义在http{…}中
  • 示例:
    • proxy_cache_valid 200 302 10m;
    • proxy_cache_valid 404 1m;
• 示例:在http配置定义缓存信息
  • proxy_cache_path /var/cache/nginx/proxy_cache
  • levels=1:1:1 keys_zone=proxycache:20m
  • inactive=120s max_size=1g;
  • 说明:proxycache:20m 指内存中缓存的大小，主要用于存放key和metadata(如:使用次数)
  • max_size=1g 指磁盘存入文件内容的缓存空间最大值调用缓存功能，需要定义在相应的配置段，如server{…};
    • proxy_cache proxycache;
    • proxy_cache_key $request_uri;
    • proxy_cache_valid 200 302 301 1h;
    • proxy_cache_valid any 1m;
• 7、proxy_cache_use_stale;
  • proxy_cache_use_stale error | timeout | invalid_header | updating | http_500 | http_502 | http_503 | http_504 | http_403 | http_404 | off …
  • 在被代理的后端服务器出现哪种情况下，可以真接使用过期的缓存响应客户端
• 8、proxy_cache_methods GET | HEAD | POST …;
  • 对哪些客户端请求方法对应的响应进行缓存，GET和 HEAD方法总是被缓存
• 9、proxy_hide_header field;
  • 默认nginx在响应报文不传递后端服务器的首部字段Date, Server, X-Pad, X-Accel-等，用于隐藏后端服务器特定的响 应首部
• 10、proxy_connect_timeout time;
  • 定义与后端服务器建立连接的超时时长，如超时会出现502错误，默认为60s，一般不建议超出75s
• 11、proxy_send_timeout time;
  • 将请求发送给后端服务器的超时时长;默认为60s
• 12、proxy_read_timeout time;
  • 等待后端服务器发送响应报文的超时时长，默认为60s

ngx_http_headers_module模块

• ngx_http_headers_module模块
  • 向由代理服务器响应给客户端的响应报文添加自定义首部，或修改指定首部的值
• 1、add_header name value [always];
  • 添加自定义首部
  • add_header X-Via $server_addr;
  • add_header X-Cache $upstream_cache_status;
  • add_header X-Accel $server_name;
• 2、add_trailer name value [always]; 添加自定义响应信息的尾部

实验：代理服务器的缓存功能

server {
        listen 80;
        server_name www.a.com;
        root /data/web1/;
        proxy_cache proxycache;
        proxy_cache_key $request_uri;
        proxy_cache_valid 200 302 301 1h;
        proxy_cache_valid any 1m;
        add_header X-Via $server_addr;
        add_header X-Cache $upstream_cache_status;
        add_header X-Accel $server_name;
        location / {
                proxy_pass http://192.168.27.17;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }


        location ~* \\.php$ {
                proxy_pass http://192.168.27.6;
        }

        access_log /data/logs/nginx-access-a.log comp ;
}

ngx_http_fastcgi_module

• ngx_http_fastcgi_module模块
  • 转发请求到FastCGI服务器，不支持php模块方式
• 1、fastcgi_pass address;
  • address为后端的fastcgi server的地址
  • 可用位置:location, if in location
• 2、fastcgi_index name;
  • fastcgi默认的主页资源
  • 示例:fastcgi_index index.php;
• 3、fastcgi_param parameter value [if_not_empty];
  • 设置传递给 FastCGI服务器的参数值，可以是文本，变 量或组合
• 示例1:
  • 1)在后端服务器先配置fpm server和mariadb-server
  • 2)在前端nginx服务上做以下配置:

location ~* \\.php$  { 
	fastcgi_pass 后端fpm服务器IP:9000; 
	fastcgi_index index.php; 
	fastcgi_param SCRIPT_FILENAME /usr/share/nginx/html$fastcgi_script_name; 
	include fastcgi_params; 
	... 
}

• 示例2:通过/pm_status和/ping来获取fpm server状态信息

location ~* ^/(status|ping)$ {
	include fastcgi_params;
	fastcgi_pass 后端fpm服务器IP:9000;
	fastcgi_param SCRIPT_FILENAME $fastcgi_script_name; 
} 

实验：查看php状态页面

server {
        listen 80;
        server_name www.a.com;
        root /data/web1/;

        location / {
                fastcgi_pass 192.168.27.17:9000;
                #fastcgi_pass 127.0.0.1:9000;
                fastcgi_index index.php;
                fastcgi_param SCRIPT_FILENAME /data/php$fastcgi_script_name;
                include  fastcgi_params ;
        }
        location ~* ^/(status|ping)$ {
                fastcgi_pass 192.168.27.17:9000;                                
                fastcgi_param SCRIPT_FILENAME $fastcgi_script_name;
                include  fastcgi_params ;
        }
        access_log /data/logs/nginx-access-a.log comp ;
}

vim /etc/php-fpm.d/www.conf
pm.status_path = /status
ping.path = /ping

实验：实现LNP

两台主机

1 nginx
server {
        listen 80;
        server_name www.a.com;
        root /data/web1/;
         location / {
                fastcgi_pass 192.168.27.17:9000;
                fastcgi_index index.php;
                fastcgi_param SCRIPT_FILENAME /data/php$fastcgi_script_name;
                include  fastcgi_params ;

        }
        access_log /data/logs/nginx-access-a.log comp ;
}

2 fastcgi服务器实现

yum install php-fpm
vim /etc/php-fpm.d/www.conf
listen = 9000 改此行
#listen.allowed_clients = 127.0.0.1 删除或注释此行

systemctl restart php-fpm

• 4、fastcgi_cache_path path [levels=levels] [use_temp_path=on|off]
  • keys_zone=name:size [inactive=time] [max_size=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];
  • 定义fastcgi的缓存;
    • path 缓存位置为磁盘上的文件系统
    • max_size=size 磁盘path路径中用于缓存数据的缓存空间上限
    • levels=levels:缓存目录的层级数量，以及每一级的目录数量
    • levels=ONE:TWO:THREE
      • 示例:leves=1:2:2
    • keys_zone=name:size
      • k/v映射的内存空间的名称及大小
    • inactive=time
      • 非活动时长
• 5、fastcgi_cache zone | off; 调用指定的缓存空间来缓存数据
  • 可用位置:http, server, location
• 6、fastcgi_cache_key string; 定义用作缓存项的key的字符串
  • 示例:
    • fastcgi_cache_key $r

      以上是关于Nginx的主要内容，如果未能解决你的问题，请参考以下文章

      将 nginx rtmp 片段发送到 WebRTC

      text 有用的nginx命令和片段

      linux学习：Nginx--常见功能配置片段与优化-06

      HLS NGINX-RTMP [错误] 1281#0：* 58 hls：强制片段拆分：10.002 秒

      Nginx 跨域

      Nginx配置文件详细介绍