Python - for循环，它产生的抓取数据每页只循环一次

Posted 2021-04-20

我正在使用web crawler scrapy并将数据加载到csv文件中。我正在使用xpath，并且遇到了正确加载我的数据的问题，我认为这源于我的for循环中的错误。它仅从每个页面中提取第一个标题，作者和引用，从而生成三行csv文件。这是我第一次使用python，我正在努力正确实现枚举/ zip函数。

import scrapy
class MySpider(scrapy.Spider):
name = 'test'
custom_settings = {
    'FEED_FORMAT': 'csv',
    'FEED_URI': 'test.csv'
}
start_urls = [
    'http://quotes.toscrape.com/', 
    'http://quotes.toscrape.com/page/2/',
    'http://quotes.toscrape.com/page/3/'
]
def parse(self, response):
    titles =  response.xpath("//div[contains(@class, 'col-md-4')]/h2/text()").extract()
    authors = response.xpath("//small[contains(@class, 'author')]/text()").extract()
    quotes = response.xpath("//div[contains(@class, 'quote')]/span[contains(@class, 'text')]/text()").extract()
    for i, (title, author, quote) in enumerate(zip(titles, authors, quotes)):
        yield {'index': i, 'title': title, 'author': author, 'quote': quote}

答案

这里的问题是zip只创建与作为参数传递的最小列表相同数量的元素，在这种情况下titles只包含1元素，因此for只会迭代一次是正确的。

如果你想要所有元素的相同标题，你应该只迭代authors和quotes：

title =  response.xpath("//div[contains(@class, 'col-md-4')]/h2/text()").extract_first()
authors = response.xpath("//small[contains(@class, 'author')]/text()").extract()
quotes = response.xpath("//div[contains(@class, 'quote')]/span[contains(@class, 'text')]/text()").extract()
for i, (author, quote) in enumerate(zip(authors, quotes)):
    yield {'index': i, 'title': title, 'author': author, 'quote': quote}