Python多线程Threading
Posted 菜鸟教程*…*
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python多线程Threading相关的知识，希望对你有一定的参考价值。
目录
怎样选择多线程Thread、多进程Process、多协程Coroutine
1.有了多线程threading,为什么还要用多进程multiprocessing
使用subprocess启动电脑任意程序听歌、解压缩、自动下载等等
Python并发编程简介
1.为什么要引入并发编程？
场景1：一个网络爬虫，按顺序爬取了1小时，采用并发下载减少到20分钟！
场景2：一个APP应用，优化前每次打开页面需要3秒钟，采用异步并发提升到每次200毫秒；
2.有哪些程序提速的方法？
3.python对并发编程的支持
怎样选择多线程Thread、多进程Process、多协程Coroutine
1.什么是CPU密集型计算、IO密集型计算？
2.多线程、多进程、多协程的对比
3.怎样根据任务选择对应技术？
Python速度慢的罪魁祸首，全局解释器锁GIL
1.python速度慢的两大原因
2.GIL是什么？
3.为什么有GIL这个东西？
4.怎样规避GIL带来的限制？
使用多线程，Python多线程被加速10倍
1.Python创建多线程的方法
2.改写爬虫程序，编程多线程爬取
blog_spider.py
import requests
urls=[f"https://www.cnblogs.com/#p{page}"
for page in range(1,50+1)
]
def craw(url):
r=requests.get(url)
print(url,len(r.text))
craw(urls[0])multi_thread_craw.py
import blog_spider
import threading
import time
def single_thread():
print("single_thread begin")
for url in blog_spider.urls:
blog_spider.craw(url)
print("single_thread end")
def multi_thread():
print("single_thread begin")
threads=[]
for url in blog_spider.urls:
threads.append(
threading.Thread(target=blog_spider.craw,args=(url,))
)
for thread in threads:
thread.start()
for thread in threads:
thread.join()
print("single_thread end")
if __name__=='__main__':
start=time.time()
single_thread()
end=time.time()
print("single thread cost:",end-start)
start = time.time()
multi_thread()
end = time.time()
print("multi thread cost:", end - start)3.速度对比：单线程爬虫VS多线程爬虫
Python实现生产者消费者模式多线程爬虫！
1.多组件的Pipeline技术架构
2.生产者消费者爬虫的架构
3.多线程数据通信的queue.Queue
4.代码编写实现生产者消费者爬虫
Python线程安全问题及解决方案
1.线程安全概念介绍
2.Lock用于解决线程安全问题
3.实例代码演示问题以及解决方案
好用的线程池ThreadPoolExecutor
1.线程池的原理
2.使用线程池的好处
3.ThreadPoolExecutor的使用语法
4.使用线程池改造爬虫程序
在web服务器中使用线程池加速
1.web服务的架构以及特点
2.使用线程池ThreadPoolExecutor加速
3.代码Flask实现web服务并加速实现
import flask
import json
import time
from concurrent.futures import ThreadPoolExecutor
app=flask.Flask(__name__)
pool=ThreadPoolExecutor()
def read_file():
time.sleep(0.1)
return "file result"
def read_db():
time.sleep(0.2)
return "db result"
def read_api():
time.sleep(0.3)
return "api result"
@app.route("/")
def index():
result_file=pool.submit(read_file)
result_db=pool.submit(read_db)
result_api=pool.submit(read_api)
return json.dumps({
"result_file":result_file.result(),
"result_db":result_db.result(),
"result_api":result_api.result(),
})
if __name__=='__main__':
app.run()使用多进程multiprocessing加速程序的运行
1.有了多线程threading,为什么还要用多进程multiprocessing
2.多进程multiprocessing知识梳理
3.代码实战：单线程、多线程、多进程对比CPU密集计算速度
import math
import time
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
PRIMES=[112272535095293]*100
def is_prime(n):
if n<2:
return False
if n==2:
return True
if n%2==0:
return False
sqrt_n=int(math.floor(math.sqrt(n)))
for i in range(3,sqrt_n+1,2):
if n%i==0:
return False
return True
def single_thread():
for number in PRIMES:
is_prime(number)
def multi_thread():
with ThreadPoolExecutor() as pool:
pool.map(is_prime,PRIMES)
def multi_process():
with ProcessPoolExecutor() as pool:
pool.map(is_prime,PRIMES)
if __name__=="__main__":
start=time.time()
single_thread()
end=time.time()
print("single_thread,cost:",end-start,"seconds")
start=time.time()
multi_thread()
end=time.time()
print("multi_thread,cost:",end-start,"seconds")
start=time.time()
multi_process()
end=time.time()
print("multi_process,cost:",end-start,"seconds")在Flask服务中使用进程池加速
import flask
import math
import json
from concurrent.futures import ProcessPoolExecutor
process_pool=ProcessPoolExecutor()
app=flask.Flask()
def is_prime(n):
if n<2:
return False
if n==2:
return True
if n%2==0:
return False
sqrt_n=int(math.floor(math.sqrt(n)))
for i in range(3,sqrt_n+1,2):
if n%i==0:
return False
return True
@app.route("/is_prime/<numbers>")
def api_is_prime(numbers):
number_list=[int(x) for x in numbers.split(",")]
results=process_pool.map(is_prime,number_list)
return json.dumps(dict(zip(number_list,results)))
if __name__=="__main__":
process_pool=ProcessPoolExecutor()
app.run()Python异步IO实现并发爬虫
在异步IO中使用信号量控制爬虫并发度
使用subprocess启动电脑任意程序听歌、解压缩、自动下载等等
以上是关于Python多线程Threading的主要内容，如果未能解决你的问题，请参考以下文章
Python3 socket 实现即时通讯脚本，threading 多线程