scrapy基础

Posted sakurachan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy基础相关的知识,希望对你有一定的参考价值。

最近打算开始学习scrapy,在vps上安装时遇到了一些坑,记载下来

系统是debian 9,python 2.7

首先检测python版本

1 $ python -V
2 Python 2.7.13

安装pip,参见pippip installation

1 wget https://bootstrap.pypa.io/get-pip.py
2 python get-pip.py

安装Twisted,直接安装会报错 Python.h: No such file or directory,需要安装python-dev

1 apt-get install python-dev

然后安装Twisted

1 pip install twisted

可以安装scrapy了

1 pip install scrapy

以上是关于scrapy基础的主要内容,如果未能解决你的问题,请参考以下文章

Scrapy Spider没有返回所有元素

Scrapy 基础-01

Scrapy 基础

Python编程基础之(五)Scrapy爬虫框架

python的scrapy框架爬虫基础

scrapy 基础使用以及错误方案