简单易行:Python爬虫框架Scrapy安装全攻略

Posted 智慧思特大数据

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了简单易行:Python爬虫框架Scrapy安装全攻略相关的知识,希望对你有一定的参考价值。


一、 需要安装Python  

直接到官网下安装包就行,不赘述。需要注意的是,安装时记得点图上所示的选项,添加路径。

简单易行:Python爬虫框架Scrapy安装全攻略


安装成功后,在命令窗口输入python,会显示当前软件的版本,如图。(我装的是3.5.1)

简单易行:Python爬虫框架Scrapy安装全攻略


二、 安装pip  

pip是python的一个包管理工具,用它来安装Python包非常方便。

可以在官网上下载到安装包,安装也很容易,不赘述。

如果安装成功,在命令行输入pip,会显示操作的一些提示信息。

简单易行:Python爬虫框架Scrapy安装全攻略

 三、 利用pip安装Scrapy  

在命令行输入 pip install Scrapy 电脑会自动下载Scrapy以及相关的包。

等它完成或者报错,缺什么包直接用 pip install 命令安装就行。

简单易行:Python爬虫框架Scrapy安装全攻略


 四、 pip升级  

安装过程中,有时候会遇到软件提示pip不是最新版本。直接按照它提示的内容,输入对应的命令对pip进行升级即可。

python-m pip install --upgrade pip

升级完成后继续执行安装scrapy的命令: pip install scrapy

简单易行:Python爬虫框架Scrapy安装全攻略


 五、 报错  

如果你是64位系统,安装的也是3.5.x 的版本,有可能会遇到两次报错。

一次是报  error: Unable to find vcvarsall.bat可以通过安装Visual C++ Build Tools2015 或者Visual Studio2015解决。(推荐前者,文件更小)

另一次有可能会提示libxml2或者lxml安装错误。

  • 用pip直接装lxml,会显示:Could not find functionxmlCheckVersion in library libxml2. Is libxml2 installed?

  • 下载python官网提供的lxml(貌似是文件的版本或者命名有点问题),用wheel安装会提示“··· is nota supported wheel on this platform”。

两者都可以通过安装正确的lxml文件解决。

我的解决办法是到python库里面重新下载对应的lxml文件再用wheel安装。

简单易行:Python爬虫框架Scrapy安装全攻略


转移到下载文件的存放目录,输入 pip install (文件名).whl

完成后,继续安装scrapy


 六、 安装结束  

以上所有步骤完成后,会显示下图。(根据安装的包不同,略有差异)

简单易行:Python爬虫框架Scrapy安装全攻略


这时候,输入scrapy,会显示相关的一些操作提示。

简单易行:Python爬虫框架Scrapy安装全攻略


输入 scrapy startproject wisest 试试,是不是可以开始打造自己的小爬虫了?

简单易行:Python爬虫框架Scrapy安装全攻略


版权申明:本文由智慧思特原创发表,如需转载,可申请授权。部分图片来自网络,侵删。




》》》更多精彩文章




以上是关于简单易行:Python爬虫框架Scrapy安装全攻略的主要内容,如果未能解决你的问题,请参考以下文章

Python之Scrapy爬虫框架安装及简单使用

python 爬虫框架scrapy学习记录和整理 python爬虫框架scrapy入门文档学习

简单使用scrapy爬虫框架批量采集网站数据

Python爬虫实战,Scrapy实战,爬取并简单分析安居客租房信息

python爬虫随笔-scrapy框架——scrapy框架的安装和结构介绍

Scrapy学习-