Python爬虫之Scrapy框架系列——XXTop250电影简介信息的获取及存储到本地

Posted 2023-03-02 孤寒者

前面简单爬取了某Top250电影的一些信息。本文，来尝试搞到每个电影的简介信息。

目录：

• 1. 获取电影简介信息
• • 1.1 第一步：配对每个电影对应的简介信息：
  • • First：包含电影简介信息url的获取
    • Second：爬虫文件的更改
    • Third：编写get_detail（）函数
    • 注意：特例的处理
  • 1.2 第二步：把每个电影的简介信息存储到对应的电影信息里：
  • • ①按习惯性的思路：步骤如下
    • ②习惯性思维不行，Scrapy框架设计者肯定也考虑到这种问题了—引入meta参数解决，如下：
  • 1.3 会发现可以很完美的搞到我们所想要的数据：

1. 获取电影简介信息

1.1 第一步：配对每个电影对应的简介信息：

Fi