02 scrapy 入门

Posted 2021-03-25 zhangjian0092

1. 创建项目

• 创建项目
  
  • scrapy startproject tutorial
• 创建spider
  • cd tutorial
  • scrapy genspider quotes quotes.toscrape.com
• 创建item
  • class QuoteItem(scrapy.Item):
    • text = scrapy.Field()
• 解析response
  • 在parse函数中解析response
  • response.xpath( ‘//xpath表达式‘ ).extract_first()
• 使用item
  • 声明的时候需要先实例化, 然后依次用刚才解析的结果赋值item的每一个字段, 最后将item返回即可 yield item
• 后续request　　
  • yield scrapy.Request(url=url, callback=self.parse)　　　　
• 运行:
  • scrapy crawl quotes
  • scrapy crawl quotes -o quotes.json  / 保存到指定文件   txt csv json