[爬虫框架scrapy]scrapy的安装

Posted 2020-12-22 liangritian

玩爬虫几乎没有不知道scrapy框架的本文会介绍如何成功安装scrapy框架

windowns下安装scrapy

1. 首先我们手动安装Twisted因为直接pip安装scrapy一般都是安装Twisted报错，索性直接安装
2. https://www.lfd.uci.edu/~gohlke/pythonlibs/
3. 打开这个网址Ctrl+F搜索Twisted
4. 
5. 选择合适的版本，例如Twisted-20.3.0-cp38-win32.whl
6. 下载后打开cmd输入:pip install
7. 把Twisted-20.3.0-cp38-win32.whl拖进命令行点击回车
8. 装好后开始安装scrapy
9. 终端输入:pip install scrapy -i https://pypi.douban.com/simple/
10. 上一步为换源，下载速度可以提升，嫌费事终端输入:pip install scrapy
11. 安装完后进行测试终端输入:scrapy bench
12. 如果没报错安装就成功了

linux下安装scrapy

1. 直接安装
2. pip instrall scrapy -i https://pypi.douban.com/simple/