Erlang I/O处理

Posted 2021-07-02 erlang collect

Erlang中有普通文件I/O和裸文件I/O两类操作，其中普通文件I/O的文件句柄是一个进程ID，因此可以从Erlang节点网络的任意位置访问该句柄；而裸文件I/O的文件句柄是一个tuple结构，只在同一节点上打开该文件的进程内有效，无法跨进程跨节点访问。一般来说裸文件I/O速度要远高于普通文件I/O。

此外Erlang RTS还有一些选项能够改善大I/O流量情况下的进程响应速度，这里主要使用的是如下2个选项：

• +K true|false - 该选项用于打开(true)或关闭(false，默认)Erlang RTS的Kernel poll功能。当Kernel poll被关闭时，RTS使用普通的用户态事件轮询接口select/poll进行进程和I/O调度，调度开销较大；打开Kernel poll时，RTS将使用内核级事件轮询接口(如Linux上的epoll等)进行调度，开销较小，可以提高存在大量进程时的响应速度。

• +A integer - 该选项用于调整Erlang RTS用于异步I/O的异步线程池大小。目前可以设置为0(不使用异步I/O，默认)至1024之间的整数。当不使用异步I/O时，RTS会把对于较大数据块的I/O操作切分为多个小数据块的I/O，以避免单个大I/O操作阻塞RTS的消息循环导致其他进程无法继续响应；当使用异步I/O时，RTS会把I/O操作派发到异步线程池中的某个worker线程的任务队列里，由独立于RTS消息循环的worker线程来处理耗时很长的I/O操作(Leader-Follower模式)。这两种对大I/O操作的处理方式都存在一定开销：不使用异步I/O时单个I/O操作变成多次I/O操作，让I/O操作调用开销增加了N倍(N为平均切分出的I/O操作次数)；使用异步I/O时，OS需要在RTS调度线程和异步I/O线程之间进行上下文切换，这也是相对较为耗时的操作。

ps：+K从erlang 21开始就已经去掉了，默认为开启，想要关闭，除非在编译安装时使用参数--disable-kernel-poll，详细请看https://blog.erlang.org/IO-Polling/

select，poll，epoll简介

select	select本质上是通过设置或者检查存放fd标志位的数据结构来进行下一步处理。这样所带来的缺点是： 1 单个进程可监视的fd数量被限制 2 需要维护一个用来存放大量fd的数据结构，这样会使得用户空间和内核空间在传递该结构时复制开销大 3 对socket进行扫描时是线性扫描
poll	poll本质上和select没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个fd对应的设备状态，如果设备就绪则在设备等待队列中加入一项并继续遍历，如果遍历完所有fd后没有发现就绪设备，则挂起当前进程，直到设备就绪或者主动超时，被唤醒后它又要再次遍历fd。这个过程经历了多次无谓的遍历。 它没有最大连接数的限制，原因是它是基于链表来存储的，但是同样有一个缺点： poll还有一个特点是“水平触发”，如果报告了fd后，没有被处理，那么下次poll时会再次报告该fd。
epoll	epoll支持水平触发和边缘触发，最大的特点在于边缘触发，它只告诉进程哪些fd刚刚变为就需态，并且只会通知一次。 在前面说到的复制问题上，epoll使用mmap减少复制开销。 还有一个特点是，epoll使用“事件”的就绪通知方式，通过epoll_ctl注册fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd，epoll_wait便可以收到通知

• 支持一个进程所能打开的最大连接数

select	单个进程所能打开的最大连接数有FD_SETSIZE宏定义，其大小是32个整数的大小（在32位的机器上，大小就是32*32，同理64位机器上FD_SETSIZE为32*64），当然我们可以对进行修改，然后重新编译内核，但是性能可能会受到影响，这需要进一步的测试。
poll	poll本质上和select没有区别，但是它没有最大连接数的限制，原因是它是基于链表来存储的
epoll	虽然连接数有上限，但是很大，1G内存的机器上可以打开10万左右的连接，2G内存的机器可以打开20万左右的连接

•  FD剧增后带来的IO效率问题

select	因为每次调用时都会对连接进行线性遍历，所以随着FD的增加会造成遍历速度慢的“线性下降性能问题”。
poll	同上
epoll	因为epoll内核中实现是根据每个fd上的callback函数来实现的，只有活跃的socket才会主动调用callback，所以在活跃socket较少的情况下，使用epoll没有前面两者的线性下降的性能问题，但是所有socket都很活跃的情况下，可能会有性能问题。

• 消息传递方式

select	内核需要将消息传递到用户空间，都需要内核拷贝动作
poll	同上
epoll	epoll通过内核和用户空间共享一块内存来实现的。

综上，在选择select，poll，epoll时要根据具体的使用场合以及这三种方式的自身特点。表面上看epoll的性能最好，但是在连接数少并且连接都十分活跃的情况下，select和poll的性能可能比epoll好，毕竟epoll的通知机制需要很多函数回调

原文：

http://blog.sina.com.cn/s/blog_8fa7dd41010153zx.html

https://www.iteye.com/blog/chaoslawful-310346

https://blog.erlang.org/IO-Polling/