让 Scrapy 跟随链接并收集数据

Posted

技术标签:

【中文标题】让 Scrapy 跟随链接并收集数据【英文标题】:Make Scrapy follow links and collect data 【发布时间】:2015-07-21 01:08:59 【问题描述】:

我正在尝试在 Scrapy 中编写程序来打开链接并从此标签收集数据:<p class="attrgroup"></p>

我已经设法让 Scrapy 收集来自给定 URL 的所有链接,但不关注它们。非常感谢任何帮助。

【问题讨论】:

【参考方案1】:

您需要产生Request 实例以使链接跟随,分配回调并在回调中提取所需p 元素的文本:

# -*- coding: utf-8 -*-
import scrapy


# item class included here 
class DmozItem(scrapy.Item):
    # define the fields for your item here like:
    link = scrapy.Field()
    attr = scrapy.Field()


class DmozSpider(scrapy.Spider):
    name = "dmoz"
    allowed_domains = ["craigslist.org"]
    start_urls = [
    "http://chicago.craigslist.org/search/emd?"
    ]

    BASE_URL = 'http://chicago.craigslist.org/'

    def parse(self, response):
        links = response.xpath('//a[@class="hdrlnk"]/@href').extract()
        for link in links:
            absolute_url = self.BASE_URL + link
            yield scrapy.Request(absolute_url, callback=self.parse_attr)

    def parse_attr(self, response):
        item = DmozItem()
        item["link"] = response.url
        item["attr"] = "".join(response.xpath("//p[@class='attrgroup']//text()").extract())
        return item

【讨论】:

例如,我如何将收集的数据存储在 .csv 文件中?我试过这个:scrapy crawl dmoz -o items.csv -t csv 但我得到的只是一个空文件。 @ArkanKalu 当然,您需要从parse_attr() 产生/归还物品。这只是一个示例代码供您继续使用。 你能写下那行代码吗?很抱歉打扰你,我是这方面的初学者:D 我已经编译它并在 .csv 文件中返回空白行 嗨,你不能也用response.urljoin吗?

以上是关于让 Scrapy 跟随链接并收集数据的主要内容,如果未能解决你的问题,请参考以下文章

Scrapy 跟随分页 AJAX 请求 - POST

如何在Scrapy CrawlSpider中找到当前的start_url?

在Scrapy中递归折叠二级链接

如何使用scrapy将来自多个页面的数据收集到单个数据结构中

爬虫:Scrapy12 - Stats Collection

Scrapy spider cralws每页只有一个链接