简单易行:Python爬虫框架Scrapy安装全攻略
Posted 智慧思特大数据
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了简单易行:Python爬虫框架Scrapy安装全攻略相关的知识,希望对你有一定的参考价值。
一、 需要安装Python
直接到官网下安装包就行,不赘述。需要注意的是,安装时记得点图上所示的选项,添加路径。
安装成功后,在命令窗口输入python,会显示当前软件的版本,如图。(我装的是3.5.1)
二、 安装pip
pip是python的一个包管理工具,用它来安装Python包非常方便。
可以在官网上下载到安装包,安装也很容易,不赘述。
如果安装成功,在命令行输入pip,会显示操作的一些提示信息。
三、 利用pip安装Scrapy
在命令行输入 pip install Scrapy 电脑会自动下载Scrapy以及相关的包。
等它完成或者报错,缺什么包直接用 pip install 命令安装就行。
四、 pip升级
安装过程中,有时候会遇到软件提示pip不是最新版本。直接按照它提示的内容,输入对应的命令对pip进行升级即可。
python-m pip install --upgrade pip
升级完成后继续执行安装scrapy的命令: pip install scrapy
五、 报错
如果你是64位系统,安装的也是3.5.x 的版本,有可能会遇到两次报错。
一次是报 error: Unable to find vcvarsall.bat可以通过安装Visual C++ Build Tools2015 或者Visual Studio2015解决。(推荐前者,文件更小)
另一次有可能会提示libxml2或者lxml安装错误。
用pip直接装lxml,会显示:Could not find functionxmlCheckVersion in library libxml2. Is libxml2 installed?
下载python官网提供的lxml(貌似是文件的版本或者命名有点问题),用wheel安装会提示“··· is nota supported wheel on this platform”。
两者都可以通过安装正确的lxml文件解决。
我的解决办法是到python库里面重新下载对应的lxml文件再用wheel安装。
转移到下载文件的存放目录,输入 pip install (文件名).whl
完成后,继续安装scrapy
六、 安装结束
以上所有步骤完成后,会显示下图。(根据安装的包不同,略有差异)
这时候,输入scrapy,会显示相关的一些操作提示。
输入 scrapy startproject wisest 试试,是不是可以开始打造自己的小爬虫了?
版权申明:本文由智慧思特原创发表,如需转载,可申请授权。部分图片来自网络,侵删。
》》》更多精彩文章
以上是关于简单易行:Python爬虫框架Scrapy安装全攻略的主要内容,如果未能解决你的问题,请参考以下文章
python 爬虫框架scrapy学习记录和整理 python爬虫框架scrapy入门文档学习
Python爬虫实战,Scrapy实战,爬取并简单分析安居客租房信息