Python爬虫之Scrapy框架系列——项目实战某瓣top250电影信息获取

Posted 2023-02-25 孤寒者

目录：

• 1. 某瓣电影top250首页电影信息的获取！
• • 1.创建项目：
  • 2.创建爬虫文件：
  • 3.运行爬虫文件：
  • 4.设置请求头：
  • 5.获取到电影名字：
  • • 5.1 使用shell交互式平台：
    • • 5.1.1 首先：打开我们的shell交互式平台。
      • 5.2.2 第二步：在shell交互式平台中匹配我们所需的电影数据。
      • 5.2.3 第三步：从selector对象中提取电影名字
  • 6.将获取到的电影的信息存储到text文本中
  • • 6.1 首先：操作items.py文件
    • 6.2 第二步：在爬虫文件中操作数据，使其与管道建立桥梁
    • 6.3 第三步：我们要将数据提交给管道，所以需要打开管道
    • 6.4 第四步：现在数据已经可以交给管道&#x