Python爬虫之Scrapy框架系列（12）——实战ZH小说的爬取来深入学习CrawlSpider

Posted 2023-03-02 孤寒者

目录：

• 1. CrawlSpider的引入：
• • （1）首先：观察之前创建spider爬虫文件时
  • （2）然后：通过命令scrapy genspider获取帮助：
  • （3）最后：使用模板crawl创建一个爬虫文件：
• 2.CrawlSpider的正式讲解
• • 2.1 我们通过爬取ZH小说来深入了解它！
  • • 规划我们的目标：
  • 2.2 先获取目标URL第一页的书籍信息！！！
  • • ①第一步：通过解析start_urls的响应，获取所有书籍URL
    • ②第二步：通过解析书籍URL获取到的响应，获取以下数据：
    • ③第三步：通过解析书籍URL获取的响应里解析得到的每个小说章节列表页的所有URL，并发送请求获得响应：
    • ④第四步：通过解析对应