CrawlSpiders是 Spider 的派?类，Spider 类的设计原则是只爬取 start_url 列表中的?页，?CrawlSpider 类定义了?些规则(rule)来提供跟进 link 的?便的机制(可以爬取下一页或跟进页面中其他的url)，从爬取 的??中获取 link 并继续爬取的?作更适合。CrawlSpider 继承于 Spider 类，除了继承过来的属性外，还提供了?个新的属性和?法:
rules
在 rules 中包含?个或多个 Rule 对象，每个 Rule 对爬取?站的动作定义了特定 操作。如果多个 rule 匹配了相同的链接，则根据规则在本集合中被定义的顺 序，第?个会被使?。
from scrapy.linkextractors import LinkExtractor #提取链接 from scrapy.spiders import CrawlSpider,Rule #循环抓取规则 class CnblogsspiderSpider(CrawlSpider): ... rules = ( Rule(link_extractor=LinkExtractor(allow=r"/article/list/\d+"), process_links="parse_links"), # 自动翻页，没有callback自动翻页 Rule(link_extractor=LinkExtractor(allow=r"/article/details/\d+"), callback="parse_content"), # 子链接 )
link_extractor ：是?个 Link Extractor 对象，?于定义需要提取的链接。callback ： 从 link_extractor 中每获取到链接时，参数所指定的值作为回调函数,该回调函数接受?个 response 作为其第?个参数。follow ：是?个布尔(boolean)值，指定了根据该规则从 response 提取的链接是否需要跟进。 如果 callback 为 None，follow 默认设置为True ， 否则默认为 Falseprocess_links ：指定该 spider 中哪个的函数将会被调?，从link_extractor 中获取到链接列表时 将 会调?该函数。该?法主要?来过 滤请求.然后在执行回调函数
process_request ：在回调函数之后调用spider中的一个函数. (?来过滤 request)
parse_start_url(response)：当 start_url 的请求返回时，该?法被调?。
LinkExtractors
class scrapy.linkextractors.LinkExtractor
Link Extractors 的?的很简单: 提取链接? 每个 LinkExtractor 有唯?的公共?法是 extract_links()，它接收?个Response 对象，并返回?个 scrapy.link.Link 对象。
Link Extractors 要实例化?次，并且 extract_links ?法会根据不同的response 调?多次提取链接?
LinkExtractor(allow=r"/article/list/\d+")#从所有找到的连接中定义需要提取的url
主要参数：
allow ：满?括号中“正则表达式”的值会被提取，如果为空，则全部匹
deny ：与这个正则表达式(或正则表达式列表)不匹配的 URL?定不提
取。
allow_domains ：会被提取的链接的 domains。
deny_domains ：?定不会被提取链接的 domains。
restrict_xpaths ：使?xpath 表达式，和 allow 共同作?过滤链接。
爬取规则(Crawling rules) 继续?腾讯招聘为
例，给出配合 rule 使?CrawlSpider 的例?: 1. ?先运?
scrapy shell "http://hr.tencent.com/position.php?&start=0#a"
CrawlSpiders
221
2. 导?LinkExtractor，创建 LinkExtractor 实例对象。：
from scrapy.linkextractors import LinkExtractor page_lx = LinkExtractor(allow=(‘position.php?&start=\d+‘))
allow : LinkExtractor 对象最重要的参数之?，这是?个正则表达式，必须要匹配这个正则表达式(或正则表达式列表)的 URL 才会被提取，如果没有给出(或为空), 它会匹配所有的链接?
deny : ?法同 allow，只不过与这个正则表达式匹配的 URL 不会被提 取 ) ?它的优先级?于 allow 的参数，如果没有给出 ( 或 None),将不排 除任何链接?