Python多线程(自学必备 超详细)

Posted inet_ygssoftware

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python多线程(自学必备 超详细)相关的知识,希望对你有一定的参考价值。

多线程技术

  1. 多任务

1.1 多任务的概念

多任务:在同一时间内执行多个任务[可以把每个任务理解为生活当中的每个活]

1.2 现实生活中的多任务

  1. 操作系统可以同时运行多个任务。比如,你一边打游戏,一边和队友沟通,这就是多任务
    操作系统轮流让各个任务交替执行,任务1执行0.01秒,切换到任务2,任务2执行0.01秒,再切换到任务3,执行0.01秒……这样反复执行下去。表面上看,每个任务都是交替执行的,但是,由于CPU的执行速度实在是太快了,我们感觉就像所有任务都在同时执行一样。
    单核cpu是并发的执行多任务,真正的并行执行多任务只能在多核CPU上实现,但是,由于任务数量远远多于CPU的核心数量,所以,操作系统也会自动把很多任务轮流调度到每个核心上执行。
  2. 一边唱跳rap打篮球的蔡徐坤

小结

  • 并发:指的是任务数多余cpu核数,通过操作系统的各种任务调度算法,实现用多个任务“一起”执行(实际上总有一些任务不在执行,因为切换任务的速度相当快,看上去一起执行而已)
  • 并行:指的是任务数小于等于cpu核数,即任务真的是一起执行的

2.线程的使用

2.1 线程的概念

线程就是在程序运行过程中,执行程序代码的一个分支,每个运行的程序至少都有一个线程

2.2 单线程执行[唱,跳]

from time import sleep
def sing():
    for i in range(3):
        print("正在唱歌{}".format(i))

def dance():
    for i in range(3):
        print("正在跳舞{}".format(i))
  
if __name__ == "__main__":
    sing()
    dance()

运行结果

正在唱歌0
正在唱歌1
正在唱歌2
正在跳舞0
正在跳舞1
正在跳舞2

3.多线程

3.1导入线程模块

import threading
# 或者直接使用 Thread
from threading import Thread

3.2线程类的Thread参数的说明

"""
Thread([group [, target [, name [, args [, kwargs]]]]])
	group: 线程组,目前只能使用None
	target: 执行的目标任务名
	args: 以元组的方式给执行任务传参
	kwargs: 以字典方式给执行任务传参
	name: 线程名,一般不用设置
"""

线程方法

Thread创建的实例对象的常用方法:

  • start():启动子进程实例(创建子线程)
  • join([timeout]):是否等待子线程执行结束,或等待多少秒

3.4多线程执行[唱,跳]

import threading
import time

# 唱歌任务
def sing():
    for i in range(3):
        print("正在唱歌{}".format(i))
        time.sleep(1)

# 跳舞任务
def dance():
    for i in range(3):
        print("正在跳舞{}".format(i))

if __name__ == "__main__":
    # 创建唱歌线程
    sing_thread = threading.Thread(target=sing)
    # 创建跳舞线程
    dance_thread = threading.Thread(target=dance)
    #开启线程
    sing_thread.start()
    dance_thread.start()

执行结果

正在唱歌0
正在跳舞0
正在跳舞1
正在跳舞2
正在唱歌1
正在唱歌2

3.4多线程执行带有参数的任务

import threading
import time

# 唱歌任务
def sing(count):
    for i in range(count):
        print("正在唱歌{}".format(i))
        time.sleep(1)

# 跳舞任务
def dance(count):
    for i in range(count):
        print("正在跳舞{}".format(i))

if __name__ == "__main__":
    # 创建唱歌线程
    sing_thread = threading.Thread(target=sing, args=(3, ))
    # 创建跳舞线程
    dance_thread = threading.Thread(target=dance, kwargs={"count": 3})
    #开启线程
    sing_thread.start()
    dance_thread.start()

4.产看获取的线程列表

  1. threading.current_thread() 获取当前执行代码的线程

  2. threading.enumerate() 获取当前程序活动线程的列表

    import threading
    import time

    唱歌任务

    def sing(count):
    for i in range(count):
    print(“正在唱歌{}”.format(i))
    time.sleep(1)

    跳舞任务

    def dance(count):
    for i in range(count):
    print(“正在跳舞{}”.format(i))

    if name == “main”:
    # 获取当前执行代码的线程(主线程)
    print(“主线程:”, threading.current_thread())
    # 获取当前活动的线程
    thread_list = threading.enumerate()
    print(“未创建和执行子线程时:”, thread_list)
    # 创建唱歌线程
    sing_thread = threading.Thread(target=sing, args=(3, ), name=“唱歌任务”)
    # 创建跳舞线程
    dance_thread = threading.Thread(target=dance, kwargs={“count”: 3}, name=“跳舞任务”)

     thread_list = threading.enumerate()
     print("创建和未执行子线程时:", thread_list)
    
     #开启线程
     sing_thread.start()
     dance_thread.start()
    
     thread_list = threading.enumerate()
     print("创建和执行子线程时:", thread_list)
    

执行结果

主线程: <_MainThread(MainThread, started 12780)>
未创建和执行子线程时: [<_MainThread(MainThread, started 12780)>]
创建和未执行子线程时: [<_MainThread(MainThread, started 12780)>]
正在唱歌0
正在跳舞0
创建和执行子线程时: [<_MainThread(MainThread, started 12780)>, <Thread(唱歌任务, started 12896)>, <Thread(跳舞任务, started 10412)>]
正在跳舞1
正在跳舞2
正在唱歌1
正在唱歌2

总结:只有线程启动,线程才会加入到活动列表

  1. 多线程注意点

目标

  • 知道线程执行的注意点

5.1 线程之间执行是无序的

import threading
import time


def task():
    time.sleep(1)
    print("当前线程:", threading.current_thread().name)


if __name__ == '__main__':

   for _ in range(5):
       sub_thread = threading.Thread(target=task)
       sub_thread.start()

执行结果

当前线程: Thread-3
当前线程: Thread-2
当前线程: Thread-4
当前线程: Thread-1
当前线程: Thread-5

5.2 主线程会等待所有的子线程结束后才结束

import threading
import time


# 测试主线程是否会等待子线程执行完成以后程序再退出
def show_info():
    for i in range(5):
        print("test:", i)
        time.sleep(0.5)


if __name__ == '__main__':
    sub_thread = threading.Thread(target=show_info)
    sub_thread.start()

    # 主线程延时1秒
    time.sleep(1)
    print("over")

5.3 守护主线程

import threading
import time


# 测试主线程是否会等待子线程执行完成以后程序再退出
def show_info():
    for i in range(5):
        print("test:", i)
        time.sleep(0.5)


if __name__ == '__main__':
    # 创建子线程守护主线程 
    # daemon=True 守护主线程
    # 守护主线程方式1
    sub_thread = threading.Thread(target=show_info, daemon=True)
    # 设置成为守护主线程,主线程退出后子线程直接销毁不再执行子线程的代码
    # 守护主线程方式2
    # sub_thread.setDaemon(True)
    sub_thread.start()

    # 主线程延时1秒
    time.sleep(1)
    print("over")

5.4 总结

  1. 线程之间执行时无序的。

  2. 主线程会等待所有的子线程结束后才结束,如果需要可以设置守护主线程

  3. 自定义线程

目标

  • 知道如何自定义线程
  • 知道如何使用自定义线程执行对应的任务

6.1 自定义线程代码

import threading


#  自定义线程类
class MyThread(threading.Thread):
    # 通过构造方法取接收任务的参数
    def __init__(self, info1, info2):
        # 调用父类的构造方法
        super(MyThread, self).__init__()
        self.info1 = info1
        self.info2 = info2

    # 定义自定义线程相关的任务
    def test1(self):
        print(self.info1)

    def test2(self):
        print(self.info2)

    # 通过run方法执行相关任务
    def run(self):
        self.test1()
        self.test2()


# 创建自定义线程
my_thread = MyThread("测试1", "测试2")
# 启动
my_thread.start()

执行结果:

测试1
测试2

6.2 小结

  • 自定义线程不能指定target,因为自定义线程里面的任务都统一在run方法里面执行
  • 启动线程统一调用start方法,不要直接调用run方法, 因为这样不是使用子线程去执行任务

多线程-共享全局变量

1.多线程共享全局变量的代码

import threading
import time


# 定义全局变量
my_list = list()

# 写入数据任务
def write_data():
    for i in range(5):
        my_list.append(i)
        time.sleep(0.1)
    print("write_data:", my_list)


# 读取数据任务
def read_data():
    print("read_data:", my_list)


if __name__ == '__main__':
    # 创建写入数据的线程
    write_thread = threading.Thread(target=write_data)
    # 创建读取数据的线程
    read_thread = threading.Thread(target=read_data)

    write_thread.start()
    # 延时
    # time.sleep(1)
    # 主线程等待写入线程执行完成以后代码在继续往下执行
    write_thread.join()
    print("开始读取数据啦")
    read_thread.start()

运行结果:

write_data: [0, 1, 2, 3, 4]
开始读取数据啦
read_data: [0, 1, 2, 3, 4]
  1. 共享全局变量问题

7.1 多线程同时对全局变量进行操作

import threading

# 定义全局变量
g_num = 0


# 循环一次给全局变量加1
def sum_num1():
    for i in range(1000000):
        global g_num
        g_num += 1

    print("sum1:", g_num)


# 循环一次给全局变量加1
def sum_num2():
    for i in range(1000000):
        global g_num
        g_num += 1
    print("sum2:", g_num)


if __name__ == '__main__':
    # 创建两个线程
    first_thread = threading.Thread(target=sum_num1)
    second_thread = threading.Thread(target=sum_num2)

    # 启动线程
    first_thread.start()
    # 启动线程
    second_thread.start()

运行结果:

sum1: 1210949
sum2: 1496035

注意点:

多线程同时对全局变量操作数据发生了错误

7.2 多线程同时操作全局变量导致数据可能出现错误的原因分析

两个线程first_thread和second_thread都要对全局变量g_num(默认是0)进行加1运算,但是由于是多线程同时操作,有可能出现下面情况:

  1. 在g_num=0时,first_thread取得g_num=0。此时系统把first_thread调度为”sleeping”状态,把second_thread转换为”running”状态,t2也获得g_num=0
  2. 然后second_thread对得到的值进行加1并赋给g_num,使得g_num=1
  3. 然后系统又把second_thread调度为”sleeping”,把first_thread转为”running”。线程t1又把它之前得到的0加1后赋值给g_num。
  4. 这样导致虽然first_thread和first_thread都对g_num加1,但结果仍然是g_num=1

7.3 全局变量数据错误的解决办法

线程同步: 保证同一时刻只能有一个线程去操作全局变量 同步: 就是协同步调,按预定的先后次序进行运行。如:你说完,我再说, 好比现实生活中的对讲机

线程同步的方式:

  1. 线程等待(join)
  2. 互斥锁

线程等待的代码

import threading

# 定义全局变量
g_num = 0


# 循环1000000次每次给全局变量加1
def sum_num1():
    for i in range(1000000):
        global g_num
        g_num += 1

    print("sum1:", g_num)


# 循环1000000次每次给全局变量加1
def sum_num2():
    for i in range(1000000):
        global g_num
        g_num += 1
    print("sum2:", g_num)


if __name__ == '__main__':
    # 创建两个线程
    first_thread = threading.Thread(target=sum_num1)
    second_thread = threading.Thread(target=sum_num2)

    # 启动线程
    first_thread.start()
    # 主线程等待第一个线程执行完成以后代码再继续执行,让其执行第二个线程
    # 线程同步: 一个任务执行完成以后另外一个任务才能执行,同一个时刻只有一个任务在执行
    first_thread.join()
    # 启动线程
    second_thread.start()

执行结果:

sum1: 1000000
sum2: 2000000

7.4 结论

  • 多个线程同时对同一个全局变量进行操作,会有可能出现资源竞争数据错误的问题
  • 线程同步方式可以解决资源竞争数据错误问题,但是这样有多任务变成了单任务。
  1. 互斥锁

8.1 互斥锁的概念

互斥锁: 对共享数据进行锁定,保证同一时刻只能有一个线程去操作。

注意:

  • 抢到锁的线程先执行,没有抢到锁的线程需要等待,等锁用完后需要释放,然后其它等待的线程再去抢这个锁,那个线程抢到那个线程再执行。
  • 具体那个线程抢到这个锁我们决定不了,是由cpu调度决定的。

线程同步能够保证多个线程安全访问竞争资源,最简单的同步机制是引入互斥锁。

互斥锁为资源引入一个状态:锁定/非锁定

某个线程要更改共享数据时,先将其锁定,此时资源的状态为“锁定”,其他线程不能更改;直到该线程释放资源,将资源的状态变成“非锁定”,其他的线程才能再次锁定该资源。互斥锁保证了每次只有一个线程进行写入操作,从而保证了多线程情况下数据的正确性。

threading模块中定义了Lock变量,这个变量本质上是一个函数,可以方便的处理锁定:

# 创建锁
mutex = threading.Lock()

# 锁定
mutex.acquire()

# 释放
mutex.release()

注意:

  • 如果这个锁之前是没有上锁的,那么acquire不会堵塞
  • 如果在调用acquire对这个锁上锁之前 它已经被 其他线程上了锁,那么此时acquire会堵塞,直到这个锁被解锁为止

8.2 使用互斥锁完成2个线程对同一个全局变量各加100万次的操作

import threading


# 定义全局变量
g_num = 0

# 创建全局互斥锁
lock = threading.Lock()


# 循环一次给全局变量加1
def sum_num1():
    # 上锁
    lock.acquire()
    for i in range(1000000):
        global g_num
        g_num += 1

    print("sum1:", g_num)
    # 释放锁
    lock.release()


# 循环一次给全局变量加1
def sum_num2():
    # 上锁
    lock.acquire()
    for i in range(1000000):
        global g_num
        g_num += 1
    print("sum2:", g_num)
    # 释放锁
    lock.release()


if __name__ == '__main__':
    # 创建两个线程
    first_thread = threading.Thread(target=sum_num1)
    second_thread = threading.Thread(target=sum_num2)
    # 启动线程
    first_thread.start()
    second_thread.start()

    # 提示:加上互斥锁,那个线程抢到这个锁我们决定不了,那线程抢到锁那个线程先执行,没有抢到的线程需要等待
    # 加上互斥锁多任务瞬间变成单任务,性能会下降,也就是说同一时刻只能有一个线程去执行

运行结果:

sum1: 1000000
sum2: 2000000

可以看到最后的结果,加入互斥锁后,其结果与预期一样。

8.3 使用互斥锁的目的

能够保证多个线程访问共享数据不会出现资源竞争及数据错误

8.4 上锁、解锁过程

当一个线程调用锁的acquire()方法获得锁时,锁就进入“locked”状态。

每次只有一个线程可以获得锁。如果此时另一个线程试图获得这个锁,该线程就会变为“blocked”状态,称为“阻塞”,直到拥有锁的线程调用锁的release()方法释放锁之后,锁进入“unlocked”状态。

线程调度程序从处于同步阻塞状态的线程中选择一个来获得锁,并使得该线程进入运行(running)状态。

8.5 总结

锁的好处:

  • 确保了某段关键代码只能由一个线程从头到尾完整地执行

锁的坏处:

  • 多线程执行变成了包含锁的某段代码实际上只能以单线程模式执行,效率就大大地下降了
  • 锁使用不好就容易出现死锁情况
  1. 死锁

9.1 死锁的概念

死锁: 一直等待对方释放锁的情景就是死锁

9.2 死锁示例

死锁一旦发生就会造成应用的停止响应。下面看一个死锁的例子

import threading
import time

# 创建互斥锁
lock = threading.Lock()


# 根据下标去取值, 保证同一时刻只能有一个线程去取值
def get_value(index):

    # 上锁
    lock.acquire()
    print(threading.current_thread())
    my_list = [3,6,8,1]
    # 判断下标释放越界
    if index >= len(my_list):
        print("下标越界:", index)
        return
    value = my_list[index]
    print(value)
    time.sleep(0.2)
    # 释放锁
    lock.release()


if __name__ == '__main__':
    # 模拟大量线程去执行取值操作
    for i in range(30):
        sub_thread = threading.Thread(target=get_value, args=(i,))
        sub_thread.start()

9.3 避免死锁

  • 在合适的地方释放锁

    import threading
    import time

    创建互斥锁

    lock = threading.Lock()

    根据下标去取值, 保证同一时刻只能有一个线程去取值

    def get_value(index):

      # 上锁
      lock.acquire()
      print(threading.current_thread())
      my_list = [3,6,8,1]
      if index >= len(my_list):
          print("下标越界:", index)
          # 当下标越界需要释放锁,让后面的线程还可以取值
          lock.release()
          return
      value = my_list[index]
      print(value)
      time.sleep(0.2)
      # 释放锁
      lock.release()
    

    if name == ‘main’:
    # 模拟大量线程去执行取值操作
    for i in range(30):
    sub_thread = threading.Thread(target=get_value, args=(i,))
    sub_thread.start()

9.4 小结

  • 使用互斥锁的时候需要注意死锁的问题,要在合适的地方注意释放锁
  • 死锁一旦发生就会造成应用的停止响应

以上是关于Python多线程(自学必备 超详细)的主要内容,如果未能解决你的问题,请参考以下文章

超详细的80个Python入门实例,代码清晰拿来即用,学习提升必备

超详细的80个Python入门实例,代码清晰拿来即用,学习提升必备

超详细的80个Python入门实例,代码清晰拿来即用,学习提升必备

超详细,Python 多线程总结的太到位了

Java多线程学习(吐血超详细总结)

超详细干货收藏向Java面试必备一文搞定Java集合容器