第十六周学习作业

Posted 2022-04-20 三石头

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了第十六周学习作业相关的知识，希望对你有一定的参考价值。

1、对常用I/O模型进行比较说明

1.1 I/O相关概念

同步\\异步：关注的是消息通信机制，即调用者在等待一件事情的处理结果时，被调用方是否提供完成状态的通知。

同步：synchronous，被调用者并不提供时间的处理结果相关的通知消息，需要调用者主动咨询事情是否处理完成；
异步：asynchronous，被调用者通过状态、通知或回调机制主动通知调用者被调用者的运行状态

阻塞\\非阻塞：关注调用者在等待结果返回之前所处的状态

阻塞：blocking，指IO操作需要彻底完成后才返回到用户用户空间，调用结果返回前，调用者被挂起，干不了别的事情。
非阻塞：nonblocking，指IO操作被调用后立即返回给用户一个状态值，而无需等到IO操作彻底完成，在最终的调用结果返回前，调用者不用被挂起，可以去做别的事情。

1.2 网络IO模型

阻塞型、非阻塞型、复用型、信号驱动型、异步

1.2.1 阻塞型I/O模型（blocking IO）

阻塞IO模型时最简单的I/O模型，用户线程在内核IO操作时被阻塞。用户线程通过系统调用read发起IO读操作，由用户空间转到内核空间。内核等到数据包到达后，然后将接收到的数据拷贝到用户空间，完成read操作。用户需要等待read将数据读取到buffer 后才能继续处理接收的数据。整个IO请求的过程中，用户线程时被阻塞的，这导致用户在发起UI请求时，不能做任何事情，对CPU的资源利用率不够。

优点：程序简单，在阻塞等待数据时进程\\线程挂起，基本不会占用CPU资源

缺点：每个连接需要独立的进程\\线程单独处理，当并发请求大时为了维护程序、内存、线程切换时开销较大，apache的perforck使用的就是这种模式。

同步阻塞：程序向内核发送IO请求后一直等待内核相应，如果内核处理的请求的IO操作不能立即返回，则进程将一直等待并不再接受新的请求，并由进程轮询产看IO是否完成，完成后进程将IO结果返回给client，再IO没有返回期间进程不能接受其他的客户请求，而且时由进程自己去查看IO是否完成，这种方式简单，但是比较慢，用的比较少。

1.2.2 非阻塞I/O模型(nonblockung IO)

用户线程发起IO请求时立即返回。但未读取到任何数据，用户线程需要不断的发起IO请求，直到数据到达后，才真正读取到数据，继续执行。即“轮询”机制在那种两个问题：如果大量文件描述符都要等，那么就要一个一个的read。这样会带来大量的contest switch（read时系统调用。每调用一次就要在用户态和内核态切换一次）。轮询的时间不好把握。这里时要猜测多久后数据才能打。等待时间设的太长，程序响应延时就过大，设的太短，就会造成频繁的重试，干耗CPU而已，是比较浪费CPU的方式，一般很少直接使用这种模型，而是在其他IO模型中使用非阻塞IO这一特性。

1.2.3 多路复用I/O模型（I/O multipexing）

多路复用IO指一个线程可以同时（实际是交替实现，即并发完成）监控和处理多个文件描述符对应各自的IO，即复用同一个线程。一个线程之所以能实现同时处理多个IO,是因为这个线程调用了内核中的SELECT,POLL或EPOLL等系统调用，从而实现多路复用IO。

I/O multiplexing 主要包括:select，poll，epoll三种系统调用，select/poll/epoll的好处就在于单个process就可以同时处理多个网络连接的IO。

它的基本原理就是select/poll/epoll这个function会不断的轮询所负责的所有socket，当某个socket有数据到达了，就通知用户进程。

当用户进程调用了select，那么整个进程会被block，而同时，kernel会“监视”所有select负责的socket，当任何一个socket中的数据准备好了，select就会返回。这个时候用户进程再调用read操作，将数据从kernel拷贝到用户进程。Apache prefork是此模式的select，worker是poll模式。

优点：可以基于一个阻塞对象，同时在多个描述符上等待就绪，而不是使用多个线程(每个文件描述符一个线程)，这样可以大大节省系统资源。
缺点：当连接数较少时效率相比多线程+阻塞 I/O 模型效率较低，可能延迟更大，因为单个连接处理需要 2 次系统调用，占用时间会有增加

IO多路复用适用如下场合：

当客户端处理多个描述符时（一般是交互式输入和网络套接口），必须使用I/O复用
当一个客户端同时处理多个套接字时，此情况可能的但很少出现
当一个服务器既要处理监听套接字，又要处理已连接套接字，一般也要用到I/O复用
当一个服务器即要处理TCP，又要处理UDP，一般要使用I/O复用
当一个服务器要处理多个服务或多个协议，一般要使用I/O复用

1.2.4 信号驱动式I/O模型（signal-driven IO）

信号驱动I/O的意思就是进程现在不用傻等着，也不用去轮询。而是让内核在数据就绪时，发送信号通知进程。

调用的步骤是：通过系统调用 sigaction ，并注册一个信号处理的回调函数，该调用会立即返回，然后主程序可以继续向下执行，当有I/O操作准备就绪,即内核数据就绪时，内核会为该进程产生一个 SIGIO信号，并回调注册的信号回调函数，这样就可以在信号回调函数中系统调用 recvfrom 获取数据,将用户进程所需要的数据从内核空间拷贝到用户空间。此模型的优势在于等待数据报到达期间进程不被阻塞。用户主程序可以继续执行，只要等待来自信号处理函数的通知。在信号驱动式 I/O 模型中，应用程序使用套接口进行信号驱动 I/O，并安装一个信号处理函数，进程继续运行并不阻塞当数据准备好时，进程会收到一个 SIGIO 信号，可以在信号处理函数中调用 I/O 操作函数处理数据。

优点：线程并没有在等待数据时被阻塞，内核直接返回调用接收信号，不影响进程继续处理其他请求，因此可以提高资源的利用率
缺点：信号 I/O 在大量 IO 操作时可能会因为信号队列溢出导致没法通知

1.2.5 异步 I/O 模型 (asynchronous IO)

异步I/O 与信号驱动I/O最大区别在于，信号驱动是内核通知用户进程何时开始一个I/O操作，而异步I/O是由内核通知用户进程I/O操作何时完成，两者有本质区别,相当于不用去饭店场吃饭，直接点个外卖，把等待上菜的时间也给省了.相对于同步I/O，异步I/O不是顺序执行。用户进程进行aio_read系统调用之后，无论内核数据是否准备好，都会直接返回给用户进程，然后用户态进程可以去做别的事情。等到socket数据准备好了，内核直接复制数据给进程，然后从内核向进程发送通知。IO两个阶段，进程都是非阻塞的。信号驱动IO当内核通知触发信号处理程序时，信号处理程序还需要阻塞在从内核空间缓冲区拷贝数据到用户空间缓冲区这个阶段，而异步IO直接是在第二个阶段完成后，内核直接通知用户线程可以进行后续操作了

优点：异步 I/O 能够充分利用 DMA 特性，让 I/O 操作与计算重叠
缺点：要实现真正的异步 I/O，操作系统需要做大量的工作。目前 Windows 下通过 IOCP 实现了真正的异步 I/O，在 Linux 系统下，Linux 2.6才引入，目前 AIO 并不完善，因此在 Linux 下实现高并发网络编程时以 IO 复用模型模式+多线程任务的架构基本可以满足需求

Linux提供了AIO库函数实现异步，但是用的很少。目前有很多开源的异步IO库，例如libevent、libev、libuv。

1.2.6 五种 IO 对比

这五种 I/O 模型中，越往后，阻塞越少，理论上效率也是最优前四种属于同步 I/O，因为其中真正的 I/O 操作(recvfrom)将阻塞进程/线程，只有异步 I/O 模型才与 POSIX 定义的异步 I/O 相匹配.

1.3常见I/O模型的实现

select: 在linux和windows平台都基本支持的事件驱动模型库，并且在接口的定义也基本相同，只是部分参数的含义略有差异，最大并发限制1024，是最早期的事件驱动模型。跨平台支持也是它的一个优点，目前几乎支持所有的平台，本质上是通过设置或者检查存放fd标志位的数据结构来进行下一步处理。缺点是单个进程能够监视的文件描述符的数量存在最大限制，在Linux上一般为1024，可以通过修改宏定义FD_SETSIZE，再重新编译内核实现，但是这样也会造成效率的降低单个进程可监视的fd数量被限制，默认是1024，修改此值需要重新编译内核对socket是线性扫描，即采用轮询的方法，效率较低，select 采取了内存拷贝方法来实现内核将 FD 消息通知给用户空间，这样一个用来存放大量fd的数据结构，这样会使得用户空间和内核空间在传递该结构时复制开销大。

poll: 在Linux 的基本驱动模型，windows不支持此驱动模型，是select的升级版，取消了最大的并发限制，在编译nginx的时候可以使用–with-poll_module和–without-poll_module这两个指定是否编译select库。本质上和select没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个fd对应的设备状态其没有最大连接数的限制，原因是它是基于链表来存储的大量的fd的数组被整体复制于用户态和内核地址空间之间，而不管这样的复制是不是有意义poll特点是“水平触发”，如果报告了fd后，没有被处理，那么下次poll时会再次报告该fd 。select是边缘触发即只通知一次。

epoll:是Nginx服务器支持的最高性能的事件驱动库之一，是公认的非常优秀的事件驱动模型，它和select和poll有很大的区别，epoll是poll的升级版，但是与poll有很大的区别。epoll的处理方式是创建一个待处理的事件列表，然后把这个列表发给内核，返回的时候在去轮询检查这个表，以判断事件是否发生，epoll支持一个进程打开的最大事件描述符的上限是系统可以打开的文件的最大数，同时epoll库的I/O效率不随着描述符数目增加而线性下降，因为它只会对内核上报的“活跃”的描述符进行操作。没有最大并发连接的限制：能打开的FD的上限远大于1024(1G的内存能监听约10万个端口)，具体查看/proc/sys/fs/file-max，此值和系统内存大小相关。效率提升：非轮询的方式，不会随着FD数目的增加而效率下降;只有活跃可用的FD才会调用callback函数，即epoll最大的优点就在于它只管理“活跃”的连接，而跟连接总数无关。内存拷贝，利用mmap(Memory Mapping)加速与内核空间的消息传递;即epoll使用mmap减少复制开销。

总结：

epoll只是一组API，比起select这种扫描全部的文件描述符，epoll只读取就绪的文件描述符，再加入基于事件的就绪通知机制，所以性能比较好。

基于epoll的事件多路复用减少了进程间切换的次数，使得操作系统少做了相对于用户任务来说的无用功。

epoll比select等多路复用方式来说，减少了遍历循环及内存拷贝的工作量，因为活跃连接只占总并发连接的很小一部分。

2、nginx中的模块分类及常见核心模块有哪些

模块分类

核心模块：是 Nginx 服务器正常运行必不可少的模块，提供错误日志记录、配置文件解析、事件驱动机制、进程管理等核心功能
标准HTTP模块：提供 HTTP 协议解析相关的功能，比如：端口配置、网页编码设置、 HTTP响应头设置等等
可选HTTP模块：主要用于扩展标准的 HTTP 功能，让 Nginx 能处理一些特殊的服务，比如： Flash 多媒体传输、解析 GeoIP 请求、网络传输压缩、安全协议 SSL 支持等
邮件服务模块：主要用于支持 Nginx 的邮件服务，包括对 POP3 协议、 IMAP 协议和 SMTP协议的支持
Stream服务模块: 实现反向代理功能,包括TCP协议代理
第三方模块：是为了扩展 Nginx 服务器应用，完成开发者自定义功能，比如： Json 支持、 Lua 支持等

常见的核心模块

ngx_core
ngx_errlog
ngx_conf
ngx_events
ngx_event
ngx_epoll
ngx_regex

3、描述nginx中worker_processes、worker_cpu_affinity、worker_rlimit_nofile、worker_connections配置项的含义

worker_processes

worker进程的数量，应小于等于cpu核心数，auto为当前主机cpu核心数

work_processes  number | auto

worker_cpu_affinity

将Nginx工作进程绑定到指定的CPU核心，默认Nginx是不进行进程绑定的，绑定并不是意味着当前nginx进程独占以一核心CPU，但是可以保证此进程不会运行在其他核心上，这就极大减少了nginx的工作进程在不同的cpu核心上的来回跳转，减少了CPU对进程的资源分配与回收以及内存管理等，因此可以有效的提升nginx服务器的性能。

worker_cpu_affinity 00000001 00000010 00000100 00001000  | auto  #后面跟的是十六进制数字，00000001表示号cpu

worker_rlimit_nofile

所有worker进程能打开的文件数量上限,包括:Nginx的所有连接（例如与代理服务器的连接等），而不仅仅是与客户端的连接,另一个考虑因素是实际的并发连接数不能超过系统级别的最大打开文件数的限制.最好与ulimit -n 或者limits.conf的值保持一致

worker_rlimit_nofile  65535

worker_connections

设置单个工作进程的最大并发连接数

events 
worker_connections 65536;
....

4、编译安装nginx，实现多域名 https

4.1 编译安装

##安装脚本
[root@centos79 ~]# cat install_nginx.sh
#!/bin/bash
#http://nginx.org/download/nginx-1.20.2.tar.gz
NGINX_URL=http://nginx.org/download/
NGINX_INSTALL_DIR=/apps/nginx
SRC_DIR=/usr/local/src
NGINX_FILE=nginx-1.20.2
TAR=.tar.gz
CPUS=`lscpu | awk /^CPU\\(s\\)/print $2`


color () 
    RES_COL=60
    MOVE_TO_COL="echo -en \\\\033[$RES_COLG"
    SETCOLOR_SUCCESS="echo -en \\\\033[1;32m"
    SETCOLOR_FAILURE="echo -en \\\\033[1;31m"
    SETCOLOR_WARNING="echo -en \\\\033[1;33m"
    SETCOLOR_NORMAL="echo -en \\E[0m"
    echo -n "$1" && $MOVE_TO_COL
    echo -n "["
    if [ $2 = "success" -o $2 = "0" ] ;then
        $SETCOLOR_SUCCESS
        echo -n $" OK "
    elif [ $2 = "failure" -o $2 = "1" ] ;then
        $SETCOLOR_FAILURE
        echo -n $"FAILED"
    else
        $SETCOLOR_WARNING
        echo -n $"WARNING"
    fi
    $SETCOLOR_NORMAL
    echo -n "]"
    echo

os_type () 
        awk -F[ "] /^NAME/print $2 /etc/os-release

os_version () 
        awk -F" /^VERSION_ID/print $2 /etc/os-release

check () 
   [ -e $NGINX_INSTALL_DIR ] &&  color "nginx 已安装,请卸载后再安装" 1; exit; 
    cd  $SRC_DIR
    if [  -e $NGINX_FILE$TAR ];then
       color "相关文件已准备好" 0
    else
       color 开始下载 nginx 源码包... 3
        wget $NGINX_URL$NGINX_FILE$TAR &> /dev/null
       [ $? -ne 0 ] &&  color "下载 $NGINX_FILE$TAR文件失败或者未安装wget" 1; exit; 
    fi


install () 
        color "开始安装nginx" 0
        id nginx 2>1 1> /dev/null
        if [ $? -eq 0 ]; then
                echo "nginx用户已经存在"
        else
                useradd -s /sbin/nologin -r nginx
                echo "nginx用户已创建完成"
        fi
        if [ `os_type` = "CentOS" -a `os_version` = "8" ]; then
                color "安装依赖包..." 3
                yum -y install make gcc-c++ libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel perl-ExtUtils-Embed &> /dev/null
                [ $? -eq 0 ] &&   color "依赖包安装完成" 0; 
        elif [ `os_type` = "CentOS" -a `os_version` = "7" ]; then
                color "安装依赖包..." 3
                yum -y -q install make gcc pcre-devel openssl-devel zlib-devel perl ExtUtils-Embeid &> /dev/null
                [ $? -eq 0 ] &&   color "依赖包安装完成" 0; 
        else
                exit
        fi
        cd $SRC_DIR
        tar xf $NGINX_FILE$TAR
        NGINX_DIR=`echo $NGINX_FILE$TAR | sed -nr s/^(.*[0-9]).*/\\1/p`
        cd $NGINX_DIR
        color "开始config ..." 3
        ./configure --prefix=$NGINX_INSTALL_DIR --user=nginx --group=nginx --with-http_ssl_module --with-http_v2_module --with-http_realip_module --with-http_stub_status_module --with-http_gzip_static_module --with-pcre --with-stream --with-stream_ssl_module --with-stream_realip_module > /tmp/install_nginx_config.log
        [ $? -eq 0 ] &&  rm -rf /tmp/install_nginx_config.log && color "config成功!" 0;  ||  color "请检查config.log log目录：/tmp/install_nginx_config.log" 1;exit 1; 
        color "make 开始..." 以上是关于第十六周学习作业的主要内容，如果未能解决你的问题，请参考以下文章 
 第十六周个人作业
 第十六周个人作业
 第十六周个人作业
 第十六周个人作业
 第十六周个人作业
 20155227 第十六周课堂测试