twisted是python实现的基于事件驱动的异步网络通信构架。

Posted 2020-06-21 Leo_wlCnBlogs

网：https://twistedmatrix.com/trac/

http://www.cnblogs.com/wy-wangyan/p/5252271.html

What is Twisted?

Twisted is an event-driven networking engine written in Python and licensed under the open source ​MIT license. Twisted runs on Python 2 and an ever growing subset also works with Python 3.

twisted是python实现的基于事件驱动的异步网络通信构架。可以在官网上在线浏览twisted的源码，也有svn可以自行下载，源码还是比较清晰易懂的。接下来的代码或者例子，文档很多都来源于官网介绍。

 

第一个问题是为什么项目叫twisted?   我的理解是由于构成twisted的主要构件deferred list, 有两个回调链,如图所示，回调链每一项包含一个(callback,errback)对。twisted按照回调链从第一个callback开始执行，如果出错执行下一个回调函数对应的errback，如果执行成功，再回到下下个callback继续执行。是不是很twisted?

 

 

第二个问题是什么是基于事件驱动的异步网络框架？ 

我们写过网络通信程序的都熟悉socket, 都知道select/poll/epoll这些网络多路复用程序，都对应着读或者写操作，twisted的构成中包含一个reacotor的东东，就是很多异步事件框架都有的概念反应堆模式，这是个单例模式，同一时间内只有一个reactor在运行。reactor.run(), 我们说的基于事件就是这样的一个事件循环，twisted等待事件就绪，然后调用回调函数，返回结果。当然它是基于select/poll/epoll的输入输出（读、写）事件。

 

关于反应堆模式： 请移步这里，这个大牛的翻译：http://www.cnblogs.com/pugang/p/4621373.html

 

那么什么又是异步？ 同样的，我们知道网络通信有几个模式，在各种面试中也或有问到，关于同步，异步，阻塞，非阻塞的区别。

关于这个解释的文章很多，权威的请参考《unix网络编程》中关于unix网络i/o模式的描述。说说我自己的理解，在Linux中所有都是文件，socket当然也是，网络i/o是i/o的一种嘛。我们的应用程序也要包含两部分的内容，一个是用户态一个是内核态的内核调用。网络i/o包含了两部分的内容：

1. 应用程序陷入内核态等待数据就绪

2. 将数据从内核空间复制到用户空间。

 

阻塞就是在这两个阶段都在等待，都被block了，一直等待内核的返回。

非阻塞就是我们熟悉的socket.setblocking(0)，或者fnctl设置的非阻塞flag；它只是在第二个阶段阻塞了，在一个阶段，应用程序知道数据未准备好后，立刻返回错误码EAGAIN/EWOULDBLOCK,知道数据准备结束，复制完毕后返回。

同步指的是等待I/O操作的完成。

异步指的是不必等待I/O操作完成，直接返回，等到第二阶段完成后，内核主动通知进程结束。

所以你说区别，我觉得就是阻塞/非阻塞对应的是一个当前的一个状态，同步/异步着眼于整个大局或操作。

 

我们今天是要说事件驱动的，前面说了我们依赖于select/poll/epoll，他们都是网络多路复用i/o，用了它们不需要再建多线程，线程池这些东西就能同时监控多个fd。有人叫它们异步（同步）非阻塞I/0， 但是从实际上来说，他们也是同步阻塞的，select/poll/epoll阻塞在select(), epoll.wait()这些函数中，等到数据就绪，然后开始第一个阶段，然后第二个阶段，在第二个阶段中也是I/O阻塞的嘛，所以说它们阻塞在了两个地方，而且需要等待I/O操作的完成。那到底有没有异步I/O，异步I/O需要操作系统底层的支持，目前好像还没有满意的异步I/O，有一些实现也是基于线程/线程池模拟实现。

 

那twisted既然用到了select/poll/epoll，它为什么叫基于事件的异步框架。因为它模式了异步I/O，它使用reactor模式处理事件循环，使用deferred处理回调函数，用户可以自己写一个回调函数，然后放到deferred list中，twsited会在事件通知就绪后调用这些回调函数，执行完毕，返回结果。看，是不是异步I/O。其它的一些基于事件的异步框架，像java的netty也是这样模拟的。

 

今天写到这里，下一篇准备分析select/epoll这些多路复用I/O，再从socket/epoll的例子入手，开始twisted的讲解。有错误之处，敬请指正，共同学习