多线程多进程等

Posted 2022-11-30 zwp-627

多线程使用：

def func(x):

print(x)

t= threading.Thread(target=func,args=(12,))

# 线程启动

t.start()

# 主进程阻塞，等待子进程的退出

t.join()

# 设置线程为主线程的守护线程

t.setDaemon()

 

多进程使用：

from multiprocessing import Process

def func(x):

print(x)

p = Process(target=func,args=(12,))

p.start()# 启动子进程实例(创建子进程)

p.is_alive()# 判断进程子进程是否还在活着

p.join(timeout)# 是否等待子进程执行结束，或者等待多少秒

p.terminate()# 不管任务是否完成，立即终止子进程

p.daemon = True # 设置守护进程

 

线程池、进程池使用：

# 进程池

from multiprocessing import Pool

# 线程池

from multiprocessing.dummy import Pool

pool = Pool(5) # 同时最大运行线程或者进程个数

def _excute(x,y):

print(x+y)

def _callback(self, temp): # temp必有参数

print("线程或进程任务完成后的回调")

pool.apply_async(target=_excute, callback=_callback)

poll.close()# 关闭Pool，使其不再接受新的任务；

poll.terminate()# 不管任务是否完成，立即终止；

poll.join()# 主进程阻塞，等待子进程的退出,必须在close或

terminate之后使用

 

进程或线程间通信工具：

# 线程池、多线程 使用的Queue

from queue import Queue

# 多进程使用的queue

from multiprocessing import JoinableQueue as Queue

# 进程池使用的queue

from multiprocessing import Manager

queue = Manager().Queue()

queue = Queue()

queue.qsize()# 返回当前队列包含的消息数量。

queue.empty()# 如果队列为空，返回True,反之False。

queue.full()# 如果队列满了，返回True，反之False。

queue.put(item, block=True, timeout=None)

"""将item消息写入队列，block默认值为True；

如果block使用默认值，且没有设置timeout（单位秒），消息列队如果已

经没有空间可写入，此时程序将被阻塞（停在写入状态），直到从消息列队腾

出空间为止，如果设置了timeout，则会等待timeout秒，若还没空间，则

抛出"Queue.Full"异常；

如果block值为False，消息列队如果没有空间可写入，则会立刻抛

出"Queue.Full"异常；

"""

queue.get(item, block=True, timeout=None)

"""

获取队列中的一条消息，然后将其从队列中移除，block默认值为True。如

果block使用默认值，且没有设置timeout（单位秒），消息列队如果为

空，此时程序将被阻塞（停在读取状态），直到从消息列队读到消息为止，如

果设置了timeout，则会等待timeout秒，若还没读取到任何消息，则抛

出"Queue.Empty"异常；

如果block值为False，消息列队如果为空，则会立刻抛

出"Queue.Empty"异常；

"""

# get方法并不能让queue的计数-1，必须调用task_done

queue.task_done()

queue.join() # 主程序阻塞，等待队列计数为0时才继续向下执行

 

线程池优点：

1. 降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造

成的消耗。

2. 提高响应速度。当任务到达时，任务可以不需要等到线程创建就能

立即执行。

3. 提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅

会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统

一的分配，调优和监控

 

Python中的进程与线程的使用场景：

多进程适合在 CPU 密集型操作(cpu 操作指令比较多，如位数多的浮

点运算)。

多线程适合在 IO 密集型操作(读写数据操作较多的，比如爬虫、网

络编程)。