Python——线程和进程

Posted 2020-12-27 一只快乐的驴子

进程：一个进程就是一个程序，进程可以使用多核CPU。

线程：进程里面的最小的执行单元，干活的是线程

　　　一个进程里面最少有一个线程（主线程），可以有多个线程（子线程）

　　　线程之间是相互独立的。主线程和子线程也是相互独立的。

           主线程会从头到尾执行命令。不会等待子线程。子线程执行完以后就消了

　　    多个线程操作一个数据的时候，最好加上锁。

　　　from threading import Lock

　　    lock = Lock()

　　　def run（）：

　　　　golbal num=0

　　　　lock.acquire()   #加锁

　　　　num+=1

　　　　lock.release()  #解锁

　　　　另一种写法：with lock:

                                         num+=1

守护线程：

　　　守护线程就是和秦始皇陪葬的人一样

　　    主线程是秦始皇，子线程就是陪葬的人

没有真正上的并发，你的电脑是几核的，那最多只能同时运行几个任务。

　　　python里面的多线程，利用不了多核cpu，只能利用一个核心的cpu

          有些情况下，用多线程比单线程速度还慢

         

python 为什么不能利用多核 CPU 

GIL 其实是因为在 python中有一个 GIL（ Global Interpreter Lock），中文为：全局解释器锁。 

1、最开始时候设计GIL是为了数据安全。python为了数据安全设计了这个 GIL。 

2、每个 CPU在同一时间只能执行一个线程： 

      在单核 CPU下的多线程其实都只是并发，不是并行，并发和并行从宏观上来讲都是同时处理多路请求的概念。 但并发和并行又有区别，并行是指

      两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔内发生）

　  在 python多线程下，每个线程的执行方式如下：

　　1、获取GIL

　　2、执行代码直到sleep或者是 python虚拟机将其挂起。 

　　3、释放 GIL

为什么有时候多线程效率低于单线程？ 

　　1、如上我们可以知道，在 python中想要某个线程要执行必须先拿到 GIL这把锁，且 python只有一个 GIL，拿到这个 GIL才能进入 CPU执行， 在遇

到 I/O操作时会释放这把锁。如果是纯计算的程序，没有 I/O 操作，解释器会每隔 100次操作就释放这把锁，让别的线程有机会 执行（这个次数可以通

sys.setcheckinterval来调整）。所以虽然 CPython 的线程库直接封装操作系统的原生线程，但 CPython 进程做为一个整体，同一时间只会有一个获得了 

GIL 的线程在跑，其它的线程都处于等待状态等着 GIL 的释放。

　　2、而每次释放 GIL锁，线程进行锁竞争、切换线程，会消耗资源。并且由于 GIL锁存在，python里一个进程永远只能同时执行一个线程 (拿到 GIL的线

程才能执行 )，这就是为什么在多核 CPU上， python的多线程效率并不高。

 

为什么python的多线程利用不了多核cpu，那为什么比单线程速度要快？

　　相同的代码，为何有时候多线程会比单线程慢，有时又会比单线程快？ 

　　这主要跟运行的代码有关： 

　　1、 CPU密集型代码(各种循环处理、计数等等 )，在这种情况下，由于计算工作多， ticks计数很快就会达到 100阈值，然后触发 GIL的释放与再竞

争 （多个线程来回切换当然是需要消耗资源的），所以 python下的多线程遇到 CPU密集型代码时，单线程比多线程效率高。 

　　2、IO密集型代码 (文件处理、网络爬虫等 )，多线程能够有效提升效率

　　　 单线程下有 IO操作会进行 IO等待，造成不必要的时间浪费。

　　　 开启多线程能在线程 A等待时，自动切换到线程 B，可以不浪费 CPU的资源，从而能提升程序执行效率 。

　　     进行 IO密集型的时候可以进行分时切换 所有这个时候多线程快过单线程

 

如果 python想充分利用多核 CPU，可以采用多进程。

　　    每个进程有各自独立的 GIL，互不干扰，这样就可以真正意义上的并行执行。

　　　在 python中，多进程的执行效率优于多线程 (仅仅针对多核 CPU而言 )。所以在多核 CPU下，想做并行提升效率，比较通用的方法是使用多进程，能够有效提高执行效率。