每个 allowed_domains 的 Scrapy 设置深度限制

Posted 2023-02-23

【中文标题】每个 allowed_domains 的 Scrapy 设置深度限制

【英文标题】：Scrapy set depth limit per allowed_domains

【发布时间】：2015-03-04 13:12:43

【问题描述】：

我正在抓取 6 个不同的 allowed_domains 并希望限制 1 个域的深度。我将如何限制scrapy中那个1域的深度？ 或者是否可以只抓取异地域的 1 个深度？

【参考方案1】：

Scrapy 不提供这样的功能。您可以set the DEPTH_LIMIT per-spider，但不能按域。

我们能做什么？ Read the code，喝咖啡解决（顺序很重要）。

这个想法是禁用 Scrapy 的内置 DepthMiddleware 和 provide our custom one。

首先，让我们定义设置：

DOMAIN_DEPTHS 将是一个字典，每个域都有深度限制 DEPTH_LIMIT 设置我们将保留为默认设置，以防域未配置

示例设置：

DOMAIN_DEPTHS = 'amazon.com': 1, 'homedepot.com': 4
DEPTH_LIMIT = 3

好的，现在自定义中间件（基于DepthMiddleware）：

from scrapy import log
from scrapy.http import Request
import tldextract


class DomainDepthMiddleware(object):
    def __init__(self, domain_depths, default_depth):
        self.domain_depths = domain_depths
        self.default_depth = default_depth

    @classmethod
    def from_crawler(cls, crawler):
        settings = crawler.settings
        domain_depths = settings.getdict('DOMAIN_DEPTHS', default=)
        default_depth = settings.getint('DEPTH_LIMIT', 1)

        return cls(domain_depths, default_depth)

    def process_spider_output(self, response, result, spider):
        def _filter(request):
            if isinstance(request, Request):
                # get max depth per domain
                domain = tldextract.extract(request.url).registered_domain
                maxdepth = self.domain_depths.get(domain, self.default_depth)

                depth = response.meta.get('depth', 0) + 1
                request.meta['depth'] = depth

                if maxdepth and depth > maxdepth:
                    log.msg(format="Ignoring link (depth > %(maxdepth)d): %(requrl)s ",
                            level=log.DEBUG, spider=spider,
                            maxdepth=maxdepth, requrl=request.url)
                    return False
            return True

        return (r for r in result or () if _filter(r))

注意它需要安装tldextract模块（用于从url中提取域名）：

>>> import tldextract
>>> url = 'http://***.com/questions/27805952/scrapy-set-depth-limit-per-allowed-domains'
>>> tldextract.extract(url).registered_domain
'***.com'

现在我们需要关闭默认中间件并使用我们实现的那个：

SPIDER_MIDDLEWARES = 
    'myproject.middlewares.DomainDepthMiddleware': 900,
    'scrapy.spidermiddlewares.depth.DepthMiddleware': None

【讨论】：

tldextract 与更流行的 python 包 tld 有何不同？

@FredericBazin 我真的不确定，没有比较它们。我认为这里不是很重要。您可以使用其中任何一个，甚至可以使用具有自定义 extract_domain() 函数的 urlparse() 来解决它。谢谢。

感谢您的精彩解释！如果response.meta['depth'] = 0 高于depth = response.meta['depth'] + 1 否则，response.meta['depth'] 为空并且会给出一个keyerror

在最新版本的 Scrapy 中，默认中间件将名称更改为：'scrapy.spidermiddlewares.depth.DepthMiddleware': None