scrapy安装问题记录

Posted 我说来不及、你就不努力了吗

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy安装问题记录相关的知识,希望对你有一定的参考价值。

ubuntu小白一枚,由于对于ubuntu的不了解所以导致有的问题解决不了只能白痴的重装一遍。

总结一下问题:

1、pip安装自带scrapy版本过低官方不提供维护,卸载不完全导致重装最新版不成功

#把Scrapy签名的GPG密钥添加到APT的钥匙环中:
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
#执行如下命令,创建 /etc/apt/sources.list.d/scrapy.list 文件:
echo ‘deb http://archive.scrapy.org/ubuntu scrapy main‘ | sudo tee /etc/apt/sources.list.d/scrapy.list
#更新包列表并安装 scrapy-0.24:
sudo apt-get update && sudo apt-get install scrapy-0.24

2、依赖关系不够主要是python-support模块导致,scrapy需要版本>0.90而support好像被废弃了

3、support包通过软件中心安装不成功,采用命令安装成功

sudo dpkg -i python-support_1.0.15_all.deb

 资料整理:

1、scrapy官方文档:http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/ubuntu.html#topics-ubuntu

2、python-support下载:https://packages.debian.org/jessie/all/python-support/download

以上是关于scrapy安装问题记录的主要内容,如果未能解决你的问题,请参考以下文章

scrapy按顺序启动多个爬虫代码片段(python3)

scrapy安装问题记录

Scrapy Spider没有返回所有元素

Scrapy爬虫案例01——翻页爬取

python 爬虫框架scrapy学习记录和整理 python爬虫框架scrapy入门文档学习

scrapy学习--安装