安装scrapy 爬虫环境的一些体会

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了安装scrapy 爬虫环境的一些体会相关的知识,希望对你有一定的参考价值。

1.安装python2.7

安装的时候注意把pip 也安装上,最好选中安装全部

2.更新pip   命令是:pip install -U pip  更新其他包也是如此

 

3.

pip install lxml

pip install zope.interface

pip install  Twisted 对应32位的  如果pip 安装不了就百度下搜索一下直接安装吧 ,....就点击下一步完成....

pip install  pyOpenSSL   这个包我有重装过一次 好像是安装不完整被我卸载的了  卸载用 pip uninstall  包名

pip install pywin32 (219)  我这个是手动安装的....pip 找不到

 

4. 然后pip install scrapy   检测是否成功,在python 环境下调用一下试试 输入:import scropy

  如果成功就顺利的出现下一行,如果失败会提示 找不到这个包

 

 

5.这是我安装的包   安装 pyOpenSSL 这个包的时候会顺带安装很多包,我也没注意看,需要什么就安装什么。 

attrs (16.0.0)
cffi (1.6.0)
cryptography (1.4)
cssselect (0.9.1)
enum34 (1.1.6)
idna (2.1)
ipaddress (1.0.16)
lxml (3.6.0)
mysql-python (1.2.3)
parsel (1.0.2)
pip (8.1.2)
pyasn1 (0.1.9)
pyasn1-modules (0.0.8)
pycparser (2.14)
PyDispatcher (2.0.5)
pyOpenSSL (16.0.0)
pywin32 (219)
queuelib (1.4.2)
Scrapy (1.1.0)
service-identity (16.0.0)
setuptools (22.0.5)
six (1.10.0)
Twisted (16.2.0)
w3lib (1.14.2)
zope.interface (4.1.3)

 

我的第一篇博客.................

注意

其实出现错误 cmd 都有提示  不懂就复制一下到 百度翻译一下就知道大概了, 这里推荐一款可以复制文字的cmd

  ==> PowerCmd

 

以上是关于安装scrapy 爬虫环境的一些体会的主要内容,如果未能解决你的问题,请参考以下文章

python爬虫篇之 Scrapy框架安装

Python爬虫实战,Scrapy实战,大众点评爬虫

Scrapy爬虫框架的安装和使用

Python3环境安装Scrapy爬虫框架过程

利用Anaconda进行python爬虫环境的配置-安装scrapy

Centos7搭建Scrapy爬虫环境