寒假学习报告06

Posted baimafeima

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了寒假学习报告06相关的知识,希望对你有一定的参考价值。

学了使用scarpy框架进行爬虫,爬取了某网站的部分信息。

技术图片

 

部分代码:

技术图片
# -*- coding: utf-8 -*-
import scrapy
from dangdang01.items import Dangdang01Item
from scrapy.http import Request

class DdSpider(scrapy.Spider):
    name = dd
    allowed_domains = [dangdang.com]
    start_urls = [http://search.dangdang.com/?key=%C5%AE%D7%B0&act=input&page_index=1]

    def parse(self, response):
        item = Dangdang01Item()
        item["title"] = response.xpath("//a[@name=‘itemlist-title‘]/@title").extract()
        item["link"] = response.xpath("//a[@name=‘itemlist-title‘]/@href").extract()
        item["comment"] = response.xpath("//a[@name=‘itemlist-review‘]/text()").extract()
        yield item
        for i in range(2,81):
            url = http://search.dangdang.com/?key=%C5%AE%D7%B0&act=input&page_index=+str(i)
            yield Request(url,callback=self.parse)
View Code

 

以上是关于寒假学习报告06的主要内容,如果未能解决你的问题,请参考以下文章

2020/1/27寒假自学——学习进度报告7

寒假学习报告04

寒假学习报告05

寒假学习报告10

2020寒假学习进度报告2

寒假学习报告13