爬虫6:Scrapy的安装与配置(win8 + python2.7.12)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫6:Scrapy的安装与配置(win8 + python2.7.12)相关的知识,希望对你有一定的参考价值。

我的系统是Win8

Python的版本是2.7.12

 

Scrapy需要依赖的包很多,所以之前在网上看教程的时候,很多教程总是说先安装啥,再安装啥,其实最终就是一句

pip install scrapy

就可以解决了,因为pip会自动去下载需要的包依赖

我主要是想讲我在配置途中遇到的一些问题

 

第一个问题

pip install scrapy过程中报Microsoft Visual C++ 9.0 is required < Unable to find vcvarsall.bat>的错误

技术分享

 

解决办法是:下载Microsoft Visual C++ Compiler for Python 2.7

http://www.microsoft.com/en-us/download/details.aspx?id=44266

安装好后,就能顺利安装了

 

第二个问题

安装好后,进入dos窗口,用命令创建工程 scrapy startproject tutorial

提示‘scrapy‘ 不是内部或外部命令

这个其实是环境变量配置的问题

右键计算机-高级系统设置-高级-环境变量-系统变量-Path-编辑-C:\\Python27;C:\\Python27\\Scripts;

注意:这里是需要填入python的安装目录,因为我装在C盘,所以填入C盘目录,用分号隔开

然后重新运行,就创建好啦

技术分享

 

以上是关于爬虫6:Scrapy的安装与配置(win8 + python2.7.12)的主要内容,如果未能解决你的问题,请参考以下文章

python爬虫scrapy入门6:Scrapy中runspider和crawl的区别

python爬虫scrapy入门6:Scrapy中runspider和crawl的区别

6 scrapy框架之分布式操作

Win10 64位+Eclipse+Python3.6.1+Scrapy1.4.0爬虫框架搭建及简单实例

Scrapy-redis分布式+Scrapy-redis实战

2017年Unity开发环境与插件配置安装(总体介绍)