centos7 scrapy安装

Posted cang-yuan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了centos7 scrapy安装相关的知识,希望对你有一定的参考价值。

 

1.anaconda3安装

wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh

技术图片

安装报错,可能是源的问题

直接在windows上下载anaconda3包,然后rz到centos上

地址:https://www.anaconda.com/distribution/#download-section

技术图片

 技术图片

 

 安装anaconda3:

技术图片

按照提示按enter和输入yes进行安装

安装成功后将anaconda3/bin目录添加进环境变量中

技术图片

anaconda3路径可以用which anaconda 或者 locate anaconda来找

技术图片

输入python,安装成功

安装scrapy前需先安装twisted

安装Twisted

wget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2
tar -jxvf Twisted-17.1.0.tar.bz2
cd Twisted-17.1.0
python setup.py install 

 如果安装失败需先安装gcc-工具

centos上g++的安装是yum install gcc-c++命令

Twisted安装成功

安装scrapy

pip install scrapy

技术图片

 

以上是关于centos7 scrapy安装的主要内容,如果未能解决你的问题,请参考以下文章

scrapy按顺序启动多个爬虫代码片段(python3)

docker配置centos7的python2.7下scrapy基础环境遇到的问题

Python之Scrapy安装

Centos7搭建Scrapy爬虫环境

windows 安装Scrapy常见错误总结

Scrapy 爬虫