Scrapy笔记

Posted 七度王爵

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy笔记相关的知识,希望对你有一定的参考价值。

##安装scrapy框架

1、安装scrapy:通过pip install scrapy即可

2、如果在windows下,还需要安装pypiwin32

如果不安装,那么以后运行scrapy 项目的时候就会报错。安装方式:pip install pypiwin32.

3、如果在ubuntu下,还需要安装一些第三方库:sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

##创建项目和爬虫

1、创建项目:scrapy startproject 【爬虫的名字】.

2、创建爬虫:进行项目所在的路径,执行命令:scrapy genspider 【爬虫名字】【爬虫的域名】。注意爬虫名字和项目的名字不能一样。

##项目目录结构

1、items.py:用来存放爬虫爬取下来数据的模型

2、middlewars.py:用来存放各种中间件的文件

3、pipelines.py:用来将items的模型存储到本地磁盘中

4、settings.py :本爬虫的一些配置信息(比如请求头、多久发送一次请求、ip代理池)

5、scrapy.py:项目的配置文件

6、spiders包:以后所有的爬虫,都是存放到这个里面

以上是关于Scrapy笔记的主要内容,如果未能解决你的问题,请参考以下文章

Python笔记——初窥Scrapy

scrapy学习笔记

Scrapy笔记

Scrapy爬虫笔记

转载Scrapy安装及demo测试笔记

scrapy学习笔记 1,第一次使用scrapy