爬虫.多线程爬虫与多进程爬虫
Posted jacky912
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了爬虫.多线程爬虫与多进程爬虫相关的知识，希望对你有一定的参考价值。
多线程爬虫
多线程的复杂性
1.资源、数据的安全性：锁保护
2.原子性：数据操作是天然互斥的
3.同步等待：wait（）、notify（）、notifyAll（）
4.死锁：多个线程对资源互锁，造成死锁
5.容灾：任何线程出现错误，整个进程都会停止
多线程的优势
1.内存空间共享，信息数据交换效率高
2.提高CPU的使用效率
3.开发便捷
4.轻，创建、销毁的开销小
Python线程
支持多线程（javascript php 不支持多线程）
Python线程直接映射到native线程（Java1.4的Java线程是JVM实现的，共同运行在一个native thread）
GIL：对于多核的利用能力有限
实现一个多线程爬虫
以上是关于爬虫.多线程爬虫与多进程爬虫的主要内容，如果未能解决你的问题，请参考以下文章