Centos7搭建Scrapy爬虫环境

Posted liuge36

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Centos7搭建Scrapy爬虫环境相关的知识,希望对你有一定的参考价值。

写在前面

因为之前的爬虫环境一直是部署在我自己本地的电脑上的,最近,写了一个监控别人空间的爬虫,需要一直线上24小时运行,所有就打算云服务器上部署环境,也捣鼓了好一会才弄好,还是有一些坑,这里先记录一下,方便以后复习...

一.替换pyhton2版本为python3

1.我这里的云服务器是Centos7系统,默认安装的是python2.7的版本,但是,我个人也是不喜欢老的东西,而且好像python2的版本到2020年就不再维护了,所以,我这里也推荐大家使用python3的版本
技术分享图片
2.下载安装

wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz

我下载的是python3.5的

技术分享图片

接下来,就是编译安装,在编译安装前需要构建编译环境,安装gcc

yum -y install gcc

gcc安装的东西有点多,稍微等一下
然后,默认编译就好
技术分享图片

接着,使用make & make install 安装,

这里的话 ,会多等一会儿 ,去喝杯茶先把,,哈哈 开玩笑的啦
技术分享图片

3.安装完成之后,我们输入python,这个时候任然是python2版本,需要重新定义软连接,重新建立指向

mv /usr/bin/python /usr/bin/python27
ln -s /usr/local/bin/python3 /usr/bin/python

结果,发现python命令无效
技术分享图片
如果还是不行的话,可以重新编译一下:
技术分享图片

这个时候,我们的yum命令就是无法使用了,因为默认的yum是只支持python2版本,我们可以简单设置一下就可以啦,如下:

修改yum配置文件(vi /usr/bin/yum)。
把文件头部的#!/usr/bin/python改成#!/usr/bin/python27保存退出即可

技术分享图片
这样就可以再次使用yum命令了

二.安装python包管理工具pip

在第一步,我们安装好了pyhton3的环境,接下来,我们就基于python3版本来安装相应的pip工具

1.pip默认是依赖于setuptools的

下载安装setuptools

wget --no-check-certificate  https://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26

解压,安装,

python setup.py install

发现缺少模块
技术分享图片

  1. 安装zlib模块
yum install zlib-devel -y

技术分享图片

打开报错文件,
技术分享图片
再次运行yum install zlib-devel -y

技术分享图片

继续安装setuptools,这个时候我们需要python3对zlib模块的支持,所以,需要重新编译安装

1.    进入pyhton3文件目录  
2.    make & make install  #编译安装

这样,就可以回到setuptools目录,进行安装

python setup.py install

技术分享图片
安装成功

终于可以安装pip了

1.下载啊

[[email protected] ~]# wget https://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gz

2、解压pip安装包

tar -zxf pip-9.0.1.tar.gz

3、安装pip

cd pip-9.0.1
python setup.py install

技术分享图片

三.安装Scrapy爬虫环境

这里我们就可以直接使用pip工具来进行包的安装了
1.测试一:安装requests
这里我使用豆瓣源

[[email protected] ~]# pip install -i https://pypi.douban.com/simple/ requests

技术分享图片

百度搜索了一下错误,说是openssl相关软件没有安装,

openssl

openssl-devel

yum -y install openssl openssl-devel

接着重新编译安装:

[[email protected] python35]# make & make install

这样,再次刷一遍安装命令:

[[email protected] python35]# pip install -i https://pypi.douban.com/simple/ requests

技术分享图片

2.测试二:安装scrapy环境

先上命令:

[[email protected] python35]# pip install -i https://pypi.douban.com/simple/ scrapy

发现,找不到Twisted
我们需要手动安装Twisted
1.下载啊

[[email protected] ~]# wget https://pypi.python.org/packages/source/T/Twisted/Twisted-15.2.1.tar.bz2

2.解压,安装

[[email protected] ~]# bzip2 -d Twisted-15.2.1.tar.bz2 
[[email protected] ~]# tar xf Twisted-15.2.1.tar 
[[email protected] ~]# cd Twisted-15.2.1/
[[email protected] Twisted-15.2.1]# python setup.py install

技术分享图片

继续安装scrapy

pip install -i https://pypi.douban.com/simple/ scrapy

技术分享图片

到这里,我们的环境就安装完成了,简单总结下:

推荐python豆瓣镜像源:
pip install -i https://pypi.douban.com/simple/

找扩展依赖包地址:
www.lfd.uci.edu/~gohlke/pythonlibs/

有时候,需要这样替换
pip install requests -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

========谢谢==============





















以上是关于Centos7搭建Scrapy爬虫环境的主要内容,如果未能解决你的问题,请参考以下文章

scrapy按顺序启动多个爬虫代码片段(python3)

scrapy主动退出爬虫的代码片段(python3)

python分布式爬虫搭建开发环境

使用scrapy-redis 搭建分布式爬虫环境

搭建Scrapy爬虫框架

使用scrapy-redis搭建分布式爬虫环境