Scrapy 开发环境搭建

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy 开发环境搭建相关的知识,希望对你有一定的参考价值。

Scrapy 开发环境搭建很简单,我们搭建 Scrapy 开发环境是建立在 Eclipse + PyDev 搭建 Python 开发环境 的基础上的。

打开命令行输入

conda list

说明: conda list 是用来查看 Anaconda 安装了哪些库

查看 Anaconda 是否已经安装 Scrapy 库,如果没有则在命令行输入

conda install scrapy=1.3

进行安装。

说明:

scrapy=1.3 指明让 Anaconda 安装 1.3 版本的 Scrapy 如果不加 1.3 版本号 则默认安装最新版的 Scrapy。而在安装的同时, Anaconda 会把 Scrapy 所有的依赖包进行下载和安装。安装过程如下:

attrs-15.2.0-p 100% |###############################| Time: 0:00:00  97.55 kB/s
constantly-15. 100% |###############################| Time: 0:00:00 514.17 kB/s
cssselect-1.0. 100% |###############################| Time: 0:00:00 305.99 kB/s
incremental-16 100% |###############################| Time: 0:00:00 546.16 kB/s
pydispatcher-2 100% |###############################| Time: 0:00:00 650.75 kB/s
queuelib-1.4.2 100% |###############################| Time: 0:00:00 683.44 kB/s
zope-1.0-py36_ 100% |###############################| Time: 0:00:00 574.36 kB/s
automat-0.5.0- 100% |###############################| Time: 0:00:00 374.29 kB/s
pyasn1-modules 100% |###############################| Time: 0:00:00   1.68 MB/s
w3lib-1.17.0-p 100% |###############################| Time: 0:00:00   2.77 MB/s
zope.interface 100% |###############################| Time: 0:00:00 460.36 kB/s
parsel-1.1.0-p 100% |###############################| Time: 0:00:00   2.76 MB/s
twisted-17.1.0 100% |###############################| Time: 0:00:27 162.23 kB/s
conda-4.3.16-p 100% |###############################| Time: 0:00:04 131.57 kB/s
service_identi 100% |###############################| Time: 0:00:00  66.05 kB/s
scrapy-1.3.3-p 100% |###############################| Time: 0:00:02 136.28 kB/s

这样就安装完成了。

在命令行输入:

scrapy version

输出:

Scrapy 1.3.3

说明 Scrapy 安装成功了。

 

以上是关于Scrapy 开发环境搭建的主要内容,如果未能解决你的问题,请参考以下文章

Scrapy爬虫学习笔记 - windows下搭建开发环境1

spring练习,在Eclipse搭建的Spring开发环境中,使用set注入方式,实现对象的依赖关系,通过ClassPathXmlApplicationContext实体类获取Bean对象(代码片段

使用scrapy-redis 搭建分布式爬虫环境

使用scrapy-redis搭建分布式爬虫环境

Scrapy教程——搭建环境创建项目爬取内容保存文件

linux下scrapy环境搭建