[Python 多线程] asyncio (十六)

Posted ihoneysec

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[Python 多线程] asyncio (十六)相关的知识,希望对你有一定的参考价值。

 

asyncio

 

该模块是3.4版本加入的新功能。

 

先来看一个例子:

def a():
    for x in range(3):
        print(‘a.x‘, x)

def b():
    for x in ‘abc‘:
        print(‘b.x‘, x)

a()
b()

#运行结果:
a.x 0
a.x 1
a.x 2
b.x a
b.x b
b.x c

  这个例子是一个典型的串行程序,两个函数调用是在主线程中顺序执行。

 

有以下几种方法可以让这段程序改为并行:

1. 生成器

2. 多线程

3. 多进程

4. 协程

 

1)生成器方法:

def a():
    for x in range(3):
        yield x


def b():
    for x in ‘abc‘:
        yield x


m = a()
n = b()

for _ in range(3):
    print(next(m))
    print(next(n))

#运行结果:
0
a
1
b
2
c

  使用生成器来实现交替执行。这两个函数都有机会执行,这样的调度不是操作系统的进程、线程完成的,而是用户自己设计的。

 

2)多线程方法:

import threading,time

def a():
    for x in range(3):
        time.sleep(0.0001)
        print(‘a.x‘,x)

def b():
    for x in ‘abc‘:
        time.sleep(0.0001)
        print(‘b.x‘,x)

threading.Thread(target=a).start()
threading.Thread(target=b).start()

#运行结果:
a.x 0
b.x a
a.x 1
b.x b
a.x 2
b.x c

  主要使用sleep函数强制切换来实现伪并行。

 

3)多进程方式:

import multiprocessing

def a():
    for x in range(3):
        print(‘a.x‘,x)

def b():
    for x in ‘abc‘:
        print(‘b.x‘,x)

if __name__ == ‘__main__‘:
    multiprocessing.Process(target=a).start()
    multiprocessing.Process(target=b).start()

#运行结果:
a.x 0
a.x 1
a.x 2
b.x a
b.x b
b.x c

  多进程方式才是真正的并行。

 

4)协程方法:

 

协程,需要使用到 asyncio 标准库,是Python3.4版本加入的新功能,底层基于selectors实现,包括异步IO、事件循环、协程等内容。

 

事件循环:

事件循环是asyncio提供的核心运行机制。

程序开启一个无限的循环,使用者会把一些函数注册到事件循环上。当满足事件发生的时候,调用相应的协程函数。

 

4.1 事件循环基类

asyncio.BaseEventLoop  这个类是一个实现细节,它是asyncio.AbstractEventLoop的子类,不可以直接使用
asyncio.AbstractEventLoop  事件循环的抽象基类,这个类是是线程不安全的

 

4.2 运行事件循环

asyncio.get_event_loop()  返回一个事件循环对象,是asyncio.BaseEventLoop的实例
asyncio.AbstractEventLoop.stop()  停止运行事件循环
asyncio.AbstractEventLoop.run_forever()  一直运行,直到调用stop()
asyncio.AbstractEventLoop.run_until_complete(future)  运行直到future对象运行完成,返回结果
asyncio.AbstractEventLoop.close()  关闭事件循环
asyncio.AbstractEventLoop.is_running()  返回事件循环的运行状态
asyncio.AbstractEventLoop.is_closed()  如果事件循环已关闭,返回True

 

4.3 协程

协程不是进程、也不是线程,它是用户空间调度完成并发处理的方式。(同一线程内交替执行其实也是伪并发)

并发指的是在一段时间内做了多少、并行指的是同一时刻有多少同时执行。

进程、线程由操作系统完成调度,而协程是线程内完成调度。它不需要更多的线程,也就没有多线程切换带来的开销。

协程是非抢占式调度,只有一个协程主动让出控制权,另一个协程才会被调度。

协程也不需要锁机制,因为是在同一线程中执行。

多CPU下,可以使用多线程和协程配合,既能进程并发又能发挥协程在单线程中的优势。

Python中协程是基于生成器的。

 

4.4 协程的使用

4.4.1 Python3.4中使用@asyncio.coroutine 、 yield from

#asyncio Python3.4

import asyncio

@asyncio.coroutine
def foo(x): #生成器函数上面加了协程装饰器之后就转化成协程函数
	for i in range(3):
		print(‘foo {}‘.format(i))
		yield from asyncio.sleep(x) #调用另一个生成器对象

loop = asyncio.get_event_loop() #获得一个时间循环
loop.run_until_complete(foo(1)) #传入一个生成器对象的调用
loop.close()


#运行结果:
foo 0
foo 1
foo 2
[Finished in 3.3s]

  此例子在一个生成器函数加了协程装饰器之后,该生成器函数就转化成了协程函数。

 

4.4.2 Python3.5中使用关键字 async def 、 await ,在语法上原生支持协程

#asyncio Python3.5

import asyncio

async def foo(x):  #异步定义,协程定义
	for i in range(3):
		print(‘foo {}‘.format(i))
		await asyncio.sleep(x) #不可以出现yield,使用await替换

print(asyncio.iscoroutinefunction(foo))
loop = asyncio.get_event_loop()
loop.run_until_complete(foo(1)) #传入一个协程对象的调用
loop.close()

#运行结果:
True
foo 0
foo 1
foo 2
[Finished in 3.3s]

  async def 用来定义协程函数,iscoroutinefunction(func)判断func函数是否是一个协程函数。协程函数中可以不包含await、async关键字,但不能使用yield关键字。

 

其它语法:async with,支持上下文的协程

 

4.4.3 coroutine asyncio.wait(futures, *, loop=None, timeout=None, return_when=ALL_COMPLETED)

等待futures序列中的协程对象执行完成,futures序列不可以为空。

timeout可以用于控制返回前等待的最大秒数,秒数可以是int或浮点数,如果未指定timeout,则无限制。

#wait多个协程对象
import asyncio

@asyncio.coroutine
def a():
	for i in range(3):
		print(‘a.x‘,i)
		yield

@asyncio.coroutine
def b():
	for i in range(3):
		print(‘b.x‘,i)
		yield


loop = asyncio.get_event_loop()
tasks = [a(),b()]
loop.run_until_complete(asyncio.wait(tasks)) #传入一个协程对象序列

loop.close()


#运行结果:
b.x 0
a.x 0
b.x 1
a.x 1
b.x 2
a.x 2
[Finished in 0.3s]

  

总结:

传统的多线程、多进程都是系统完成调度,而协程是在进程中的线程内由用户空间调度完成并发处理,主要依靠生成器来实现交替调度。

Python3.4中使用@asyncio.coroutine、yield from调用另一个生成器对象

Python3.5中使用关键字 async def 和 await,且不可以出现yield关键字。

 

以上是关于[Python 多线程] asyncio (十六)的主要内容,如果未能解决你的问题,请参考以下文章

Python 多处理线程 Asyncio

python 多进程和多线程3 —— asyncio - 异步IO

python 多进程和多线程3 —— asyncio - 异步IO

Python有了asyncio和aiohttp在爬虫这类型IO任务中多线程/多进程还有存在的必要吗?

简单的 Python 多线程网络服务器,带有 Asyncio 和在主函数中调用的事件

python爬虫 asyncio aiohttp aiofiles 单线程多任务异步协程爬取图片