爬虫框架--scrapy简介

Posted 孔扎根

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫框架--scrapy简介相关的知识,希望对你有一定的参考价值。

简介

  scrapy被认为是比较简单的爬虫框架,资料比较齐全,网上也有很多教程。官网上介绍了它的四种安装方法,PyPI、Conda、APT、Source,我们只介绍最简单的安装方法。

 

Windows下的安装

  pip install scrapy

Linux下的安装

  apt-get install python-scrapy

  APT

 

  因为Linux的强大及辅助工具比较多,大家比较喜欢在Linux下使用scrapy爬虫框架,Linux下编写python代码最强大的工具可属eclipse,但最方便的要属vi的强化版本vim了,对不同的编程语言配合不同的插件,可将vim配置成为一个专属的IDE。

 

VIM模块

 

以上是关于爬虫框架--scrapy简介的主要内容,如果未能解决你的问题,请参考以下文章

爬虫学习 10.scrapy框架简介和基础应用

码以致用01 - Scrapy 爬虫框架简介

python爬虫----scrapy框架简介和基础应用

爬虫之scrapy框架

一文快速掌握 scrapy 爬虫框架

scrapy爬虫框架处理流程简介