在抓取两页时忽略请求

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在抓取两页时忽略请求相关的知识,希望对你有一定的参考价值。

我现在每天都在抓这个网站,并且使用DeltaFetch来忽略已经访问过的网页(其中很多)。

我面临的问题是,对于这个网站,我需要首先刮取页面A,然后刮取页面B以检索有关该项目的其他信息。 DeltaFetch很好地忽略了对页面B的请求,但这也意味着每次抓取运行时,它都会向页面A运行请求,无论它是否访问过它。

这就是我的代码现在的结构:

# Gathering links from a page, creating an item, and passing it to parse_A
def parse(self, response):
    for href in response.xpath(u'//a[text()="詳細を見る"]/@href').extract():
        item = ItemLoader(item=ItemClass(), response=response)
        yield scrapy.Request(response.urljoin(href), 
                                callback=self.parse_A,
                                meta={'item':item.load_item()})

# Parsing elements in page A, and passing the item to parse_B
def parse_A(self, response):
    item = ItemLoader(item=response.meta['item'], response=response)
    item.replace_xpath('age',u"//td[contains(@class,"age")]/text()")
    page_B = response.xpath(u'//a/img[@alt="周辺環境"]/../@href').extract_first()
    yield scrapy.Request(response.urljoin(page_B), 
                            callback=self.parse_B,
                            meta={'item':item.load_item()})

# Parsing elements in page B, and yielding the item
def parse_B(self, response):
    item = ItemLoader(item=response.meta['item'])
    item.add_value('url_B',response.url)
    yield item.load_item()

任何帮助将被理解为使用DeltaFetch忽略在访问此页面时对页面A的第一个请求。

答案

DeltaFetch仅记录在其数据库中生成项目的请求,这意味着默认情况下只会跳过这些请求。

但是,您可以使用deltafetch_key元键自定义用于存储记录的密钥。如果对于调用parse_A()的请求使这个键与在parse_A()中创建的那些相同,那么你应该能够达到你想要的效果。

这样的东西应该工作(未经测试):

from scrapy.utils.request import request_fingerprint

# (...)

    def parse_A(self, response):
        # (...)
        yield scrapy.Request(
            response.urljoin(page_B),
            callback=self.parse_B,
            meta={
                'item': item.load_item(),
                'deltafetch_key': request_fingerprint(response.request)
            }
        )

注意:上面的示例通过过滤对parse_B()网址的请求,有效地取代了对parse_A()网址的请求过滤。您可能需要根据需要使用其他密钥。

以上是关于在抓取两页时忽略请求的主要内容,如果未能解决你的问题,请参考以下文章

Scrapy 跟随分页 AJAX 请求 - POST

c# https请求忽略证书验证_各种编程语言忽略http的SSL证书认证

Fiddler怎么抓请求做接口

inline内联函数

Fiddler 抓包

在大型数据网格中分页时“超出最大请求长度”[重复]