scrapy知识补充--scrapy shell 及Spider

Posted 2020-11-03 温良Miner

什么是scrapy shell?

Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试xpath或css表达是，来查看他们的工作方式，方便爬取页面中的数据。

selector选择器（scrapy内置）

Selecctor有四个基本方法，最常用的还是xpath:

• xpath():传入xpath表达式，返回该列表所对应的所有节点的selector的list
• extract():序列化该节点为Unicode字符串，并返回list
• css():传入css表达式，返回该表达式的所对应的所有节点的list列表，语法同BeautifulSoup4
• re():根据传入的正则表达式对数据进行提取，返回Unicode字符串列表

Spider是做什么的？

什么是Spider?

Spider类定义了如何爬取某个（某些）网站。包括爬取动作（例如：是否跟进链接）以及如何从昂也中提取结构化数据（爬取的item）。换句话说，spider就是已经定义的爬取动作以及分析某个网页的地方。

Spider的属性和方法

主要属性和方法：

name:定义spider名字的字符串。例如，如果spider爬取website.com,该spider通常会被命名为website

allowed_domains:包含了允许爬取的域名（domain）的列表，可选。

start_url：初始URL的元祖或列表。当没有给定特定的url时，spider将从该列表中开始进行爬取。

start_requests(self):该方法返回一个可迭代对象（iterable）。该对象包含了spider用于爬取（默认实现是用start_url中的url）的第一个Request。

parse(self, response):当请求url返回网页没有指定回调函数时，默认的Request对象回调函数。用来处理网页返回的response，以及生成的item或Request对象。

怎样编写Spider爬取数据？

参见：