搭建Scrapy爬虫框架
Posted 智趣智学
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了搭建Scrapy爬虫框架相关的知识，希望对你有一定的参考价值。
搭建Scrapy爬虫框架
对于python2.X版本：
第一步安装python
第二步安装pywin32（https://sourceforge.net/projects/pywin32/files/pywin32/根据系统位数下载相应版本）
第三步安装python并并配置环境变量，配置方法如下
右键我的电脑—属相—高级系统设置—环境变量—选中用户变量path—点击编辑—点击新建—将python.exe的安装目录粘贴进去—确定
第四步下载并解压easy_install，然后cmd命令进入解压的目录后运行python setup.py install
当出现Finished processing dependencies forez-setup==0.9则表明安装成功
另外在cmd窗口中执行命令pip –version若显示版本号，则表明安装成功
第五步安装lxml
安装lxml的命令是：pipinstall lxml
第六安装pyOpenSSL
pip install pyOpenSSL
第七安装scrapy
Pip install scrapy
对于python3X版本：
第一安装twisted模块
打开网站https://www.lfd.uci.edu/~gohlke/pythonlibs/按下ctrl+F搜索twisted
因为我的系统是64位的并且我的python版本是3.7，所以我下载twain-1.0.4-cp37-cp37m-win_amd64.whl
Cmd窗口执行pip installtwain-1.0.4-cp37-cp37m-win_amd64.whl
第二安装Scrapy框架即cmd窗口执行pip install Scrapy（安装Scrapy同时会自动安装lxml和pyOpenSSL）
第三创建Scrapy项目：
在要创建项目的文件夹下执行cmd窗口，运行命令scrapystartproject scrapyDemo便可以得到一个目录组
备注：
如果在执行Scrapy项目创建的时候，出现以下报错：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools说明第一步中下载的twain版本不对，解决的办法就是需要重新下载twain进行安装后，再执行一遍Scrapy安装即可解决
以上是关于搭建Scrapy爬虫框架的主要内容，如果未能解决你的问题，请参考以下文章