python多进程报错load_eof

Posted 2023-03-20

python 多进程报错（创建运行多进程）

简单说一下python的多进程包multiprocessing。借助这个包，可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、Lock等组件。

创建进程的类：Process([group [, target [, name [, args [, kwargs]]]]])，target表示调用对象，args表示调用对象的位置参数元组。kwargs表示调用对象的字典。name为别名。group实质上不使用。
方法：is_alive()、join([timeout])、run()、start()、terminate()。其中，Process以start()启动某个进程。

属性：authkey、daemon（要通过start()设置）、exitcode(进程在运行时为None、如果为–N，表示被信号N结束）、name、pid。其中daemon是父进程终止后自动终止，且自己不能产生新进程，必须在start()之前设置。

1.当我们希望使用python创建一个多进程运行时，碰到下面的报错提示：

2.解决的方法很简单，只需要将你的代码放到 if __name__ == "__main__"下面，如下图：

3.下面是测试多进程运行的程序。

import time
import random
from multiprocessing import Process

def run(name):
print(f' 开始运行 name 进程...')
# 睡眠一个1~5的随机数，做进程对比
time.sleep(random.randrange(1,5))
print(f' name 进程运行结束。')

if __name__ == "__main__":
p1 = Process(target=run, args=('my_jcy',)) # 必须加,号
p2 = Process(target=run, args=('my_mm',)) # 必须加,号
p1.start()
p2.start()
print('这里是主进程，已结束！') 参考技术A 1，如果在进程处理时不应该关闭相应的管道，那就检查代码把关闭管道的如xx.close()的代码去掉试试

2，如果是需要解决的异常：多进程处理的时候没有处理好异常情况，可以使用try。。。except OSError或try。。。except EOFError来接收异常并进行下一步处理

3，多个进程同时对管道进行访问可能会导致竞争，可以考虑改用（管道+锁）的队列处理方式。

python多进程与多线程的实现

多进程完成多任务

进程执行带有参数的任务

args   以元组方式传参     args=(,)
kwargs	以字典方式传参		kwargs={num:"2"}

获取进程编号

1. 当前进程编号
2. 当前进程的父进程

os.getpid()
os.gerppid()

交替访问

注：主进程会等所有子进程结束之后再结束

设置守护主进程（子进程随着主进程结束而结束）

报错，为什么呢？？？？？

多想想，如果主进程执行够快，子进程还没跑就挂了

底下的sleep才是真正发挥作用的

如果不设置守护主进程，子进程不会随着主进程结束而结束

多线程

import threading

创建线程对象 a=threading.Thread(target=任务名)

启动线程 a.start()

共有三个参数：

1. target 任务名
2. name 线程名
3. group 线程组

线程执行带有参数的任务

同进程

设置守护主线程（子线程随着主线程结束而结束）

同进程，主线程会等待子线程结束之后再结束

主线程结束之后，子线程便也结束了，主线程并没有等待子线程完成再结束，为了验证，我们去掉线程守护

三种设置方法：

1. sing_pross = threading.Thread(target=sing,daemon=True)
   

2. sing_pross.thread.setDeamon(True)
   

3. sing_pross.daemon=True
   

   比较2，3 ，，，在我看的教材里是没有第三种方法的

   个人感觉就是类似Java类中的set和get方法，可惜py基础差了点，源码看了半天也没懂怎么搞的

线程的执行顺序

无序，由cpu调度执行，个人感觉是cpu会选择相对好的方法，尽可能占满资源，这就和内存与cpu的调度有关了

个人总结

线程比较与进程，节省资源，因为线程至少要有一个进程

进程是操作系统资源分配的基本单位，线程是cpu调度的基本单位

优缺点：

1. 进程可以用多核，例如一核一进程的使用
2. 线程不能这么使用，因为进程一核一进程，线程又在进程之下，理论上已经不可行了

注意:尽可能在使用中添加sleep，否则可能会出现问题，个人感觉运行时间太短，直接跳过了