使用 Scrapy 使用 CONCURRENCY_REQUEST 同时发送多个请求

Posted 2023-04-13

【中文标题】使用 Scrapy 使用 CONCURRENCY_REQUEST 同时发送多个请求

【英文标题】：send multiple requests simultaneously using CONCURRENCY_REQUEST using Scrapy

【发布时间】：2021-01-26 11:11:44

【问题描述】：

请， 如何准确配置 CONCURRENCY_REQUEST、CONCURRENCY_REQUEST_PER_DOMAIN 以同时发送多个请求？ 我的 DOWNLOAD_DELAY = 5 和 CONCURRENCY_REQUEST_PER_IP = 1

当我设置 CONCURRENCY_REQUEST = 4 时没有时间差异，我不明白

【问题讨论】：

当你使用 CONCURRENT_REQUESTS_PER_IP 设置（在你的情况下 - 1） - scrapy 将忽略 CONCURRENT_REQUESTS 和 CONCURRET_REQUESTS_PER_DOMAIN 设置。

啊，好吧，我有一个ip列表，如何配置每个ip同时有一个请求？

【参考方案1】：

你输入错误的设置名称scrapy中没有CONCURRENCY_REQUEST、CONCURRENCY_REQUEST_PER_DOMAIN和CONCURRENCY_REQUEST_PER_IP 设置。

你需要使用 CONCURRENT_REQUESTS , CONCURRENT_REQUESTS_PER_DOMAIN CONCURRENT_ not CONCURRENCY_

【讨论】：

对不起，我想问一下 CONCURRENT_，我不明白如何配置这个