Python爬虫之Scrapy框架系列——项目实战某瓣Top250电影更多信息的获取

Posted 2023-02-19 孤寒者

前言：
上篇文章使用Scrapy框架简单爬取并下载了某瓣Top250首页的排名前25个电影的电影名。
太寒酸了，这篇文章咱就来仔细搞一搞，搞到更加详细的信息！！！

目录：

• 1.分析
• 2.使用scrapy shell提取电影详细信息
• • 2.1 终端进入scrapy shell交互式界面命令：
  • 2.2 首先，确认下最开始的分析是否正确（每个电影的信息都藏在class属性值为info的div中）
  • 2.3 分析如何获取到电影名字
  • • 2.3.1 首先尝试获取第一个电影名字。结合源码使用xpath匹配：
    • 2.2 一个电影名字获取成功，使用循环尝试能否成功获取到25个电影名字：
  • 2.4 分析如何获取到电影主演
  • 2.5 分析如何获取电影的评分：
  • • 2.5.1 首先，尝试获取第一个电影的评分。结合源码使用xpath匹配：
    • 2.5.2 一个电影的评分获取成功，使用循