快速部署网络爬虫框架scrapy

Posted 捏不死的小蚂蚁

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了快速部署网络爬虫框架scrapy相关的知识,希望对你有一定的参考价值。

1. 安装Anaconda,因为Anaconda基本把所有需要依赖的环境都一键帮我们部署好了,不需要再操心其他事了,进官网选择需要下载的版本:https://www.anaconda.com/download/

2. 安装完Anaconda,添加环境变量,见截图

 

3. 验证Anaconda是否安装OK,打开开始菜单,选择  ,输入命令conda,出现截图的情况就说明装好了,环境变量也是OK的

 

4. 接下来就是安装scrapy,在刚才的Anaconda Prompt,输入命令:conda install scrapy. 系统自动搜索下载最新版本的scrapy

输入y,等待安装完后,输入命令:scrapy version.出现下面截图的情况就说明安装好了,到这里就安装完了scrapy,可以畅快的去编写网络爬虫代码了~~

 

以上是关于快速部署网络爬虫框架scrapy的主要内容,如果未能解决你的问题,请参考以下文章

Python编程基础之(五)Scrapy爬虫框架

一文快速掌握 scrapy 爬虫框架

Python 爬虫-Scrapy爬虫框架

5分钟快速掌握 scrapy 爬虫框架

开源爬虫框架 Scrapy 快速入门

爬虫框架——Scrapy