Python爬虫之Scrapy框架系列（14）——实战ZH小说爬取多页爬取

Posted 2023-03-08 孤寒者

目录：

• 实现多页爬取，此处以两页举例！
• • ①编写爬虫文件：
  • ②观察效果：

实现多页爬取，此处以两页举例！

①编写爬虫文件：

• （加入对start_urls处理的函数，通过翻页观察每页URL的规律，在此函数中拼接得到多页的URL，并将请求发送给引擎！）

    # start_urls的回调函数
    # 作用：拼接得到每页小说的url。实现多页小说获取。
    def parse_start_url(self, response):
        print(self