让 Scrapy 跟随链接并收集数据
Posted
技术标签:
【中文标题】让 Scrapy 跟随链接并收集数据【英文标题】:Make Scrapy follow links and collect data 【发布时间】:2015-07-21 01:08:59 【问题描述】:我正在尝试在 Scrapy 中编写程序来打开链接并从此标签收集数据:<p class="attrgroup"></p>
。
我已经设法让 Scrapy 收集来自给定 URL 的所有链接,但不关注它们。非常感谢任何帮助。
【问题讨论】:
【参考方案1】:您需要产生Request
实例以使链接跟随,分配回调并在回调中提取所需p
元素的文本:
# -*- coding: utf-8 -*-
import scrapy
# item class included here
class DmozItem(scrapy.Item):
# define the fields for your item here like:
link = scrapy.Field()
attr = scrapy.Field()
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["craigslist.org"]
start_urls = [
"http://chicago.craigslist.org/search/emd?"
]
BASE_URL = 'http://chicago.craigslist.org/'
def parse(self, response):
links = response.xpath('//a[@class="hdrlnk"]/@href').extract()
for link in links:
absolute_url = self.BASE_URL + link
yield scrapy.Request(absolute_url, callback=self.parse_attr)
def parse_attr(self, response):
item = DmozItem()
item["link"] = response.url
item["attr"] = "".join(response.xpath("//p[@class='attrgroup']//text()").extract())
return item
【讨论】:
例如,我如何将收集的数据存储在 .csv 文件中?我试过这个:scrapy crawl dmoz -o items.csv -t csv 但我得到的只是一个空文件。 @ArkanKalu 当然,您需要从parse_attr()
产生/归还物品。这只是一个示例代码供您继续使用。
你能写下那行代码吗?很抱歉打扰你,我是这方面的初学者:D
我已经编译它并在 .csv 文件中返回空白行
嗨,你不能也用response.urljoin
吗?以上是关于让 Scrapy 跟随链接并收集数据的主要内容,如果未能解决你的问题,请参考以下文章
如何在Scrapy CrawlSpider中找到当前的start_url?
如何使用scrapy将来自多个页面的数据收集到单个数据结构中