创建项目
在开始爬取之前,您必须创建一个新的Scrapy项目。进入您打算存储代码的目录中,运行下列命令:
scrapy startproject tutorial
- 1
该命令行将会创建包含下列内容的tutorial
目录:
tutorial/
scrapy.cfg
tutorial/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
这些文件分别是:
- scrapy.cfg:项目的配置文件
- tutorial:该项目的python模块。之后您将在此加入代码。
- tutorial/items.py:项目中的item文件。
- tutorial/pipelines.py:项目中的pipelines文件。
- tutorial/spiders/:放置spider代码的目录。
定义Item
Item是保存爬取到的数据的容器:其使用方法和python字典类似,并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
类似在ORM中做的一样,你可以通过创建一个scrapy.Item
类,并且定义类型为scrapy.Field
的类属性来定义一个Item。
首先根据需要从dmoz.org获取到的数据对item进行建模。我们需要从dmoz中获取名字,url,以及网站的描述。对此,在item中定义相应的字段。编辑tutorial
目录中的items.py
文件:
import scrapy
class DmozItem(scrapy.Item):
title=scrapy.Field()
link=scrapy.Field()
desc=scrapy.Field()
- 1
- 2
- 3
- 4
- 5
- 6
一开始这看起来可能有点复杂,但是通过定义item,您可以很方便的使用Scrapy的其他方法。而这些方法需要知道您的item定义
编写第一个爬虫(Spider)
Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。
其包含了一个用于下载的初始url,如何跟进网页中的链接以及如何分析页面中的内容,提取生成item的方法。
为了创建一个Spider,您必须继承scrapy.Spider
类,且定义以下三个属性:
name
:用于区别Spider。改名字必须是唯一的,您不可以为不同的Spider设定相同的名字。start_urls
:包含了Spider在启动时进行爬取的url列表。因此,第一个被获取的页面给将是其中之一。后续的URL则从初始的URL获取到的数据中提取。-
parse()
:是spider的一个方法。被调用时,每个初始url完成下载后生成的Response
对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的URL的Request
对象。以下为我们第一个Spider代码,保存在
tutorial/spiders
目录下的dmoz_spider.py
文件中:
import scrapy
class DmozSplider(scray.spiders.Spider):
name="dmoz"
allowed_domain=["dmoz.org"]
start_urls=[
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self,response):
filename=response.url.split("/")[-2]
with open(file,"wb") as f:
f.write(response.body)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
爬取
进入项目的根目录,执行下列命令启动spider:
scrapy crawl dmoz
- 1
crawl dmoz
启动用于爬取dmoz.org
的spider,您将得到类似的输出:
2014-01-23 18:13:07-0400 [scrapy] INFO: Scrapy started (bot: tutorial)
2014-01-23 18:13:07-0400 [scrapy] INFO: Optional features available: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Overridden settings: {}
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled extensions: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled downloader middlewares: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled spider middlewares: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled item pipelines: ...
2014-01-23 18:13:07-0400 [dmoz] INFO: Spider opened
2014-01-23 18:13:08-0400 [dmoz] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)
2014-01-23 18:13:09-0400 [dmoz] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: None)
2014-01-23 18:13:09-0400 [dmoz] INFO: Closing spider (finished)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
查看包含dmoz
的输出,可以看到输出的log中包含定义在start_urls
的初始url,并且与splider中是一一对应的。在log中可以看到其没有指向其他页面(referer:None
)
除此之外,更有趣的事情发生了。就像我们parse
方法指定的那样,这两个包含url所对应的内容的文件被创建了:Book,Resources。
刚才发生了什么
Scrapy为Spider的start_urls
属性中的每个url创建了scrapy.Request
对象,并将parse()
方法作为回调函数(callback)赋值给了Request
Request对象进过调度,执行生成scrapy.http.Response
对象并送回给Spiderparse()
方法