scrapy爬虫初体验

Posted 2020-10-15 郑哲

import scrapy

class StackOverflowSpider(scrapy.Spider):
    name="stackoverflow"
    start_urls=["http://stackoverflow.com/questions?sort=votes"]


    def parse(self,response):
        for href in response.css(‘.question-summary h3 a::attr(href)‘):  #得到爬取的地址
            full_url=response.urljoin(href.extract())
            yield scrapy.Request(full_url,callback=self.parse_question)

    def parse_question(self,response):
        yield{
            ‘title‘:response.css(‘h1 a::text‘).extract()[0],
            ‘votes‘:response.css(".question .vote-count-post::text").extract()[0],
            ‘body‘:response.css(".question .post-text").extract()[0],
            ‘tags‘:response.css(‘.question .post-tag::text‘).extract(),
            ‘link‘:response.url,
        }

 

命令行运行代码 scrapy runspider 文件名.py -o 存储文件名.csv

 

1.在xx.py文件中找到已定义的爬虫，然后通过抓取引擎运行爬虫

 

2.具体的抓取过程：

1）使用start_urls作为初始url生成Request，并默认把parse作为它的回调函数。

2）在parse中采用css选择器获得目标的URL，并注册parse_question作为目标URL的回调函数

 

背后的处理：

1.请求被异步的调度，处理。

2.有一些参数可以控制过程，比如每个域名/ip的并发请求数，请求直接的下载延迟（或者自动调节）