Python爬虫之Scrapy框架系列——项目实战某瓣Top250电影所有信息的txt文本存储

Posted 2023-02-17 孤寒者

上篇文章已经成功解析提取到豆瓣Top250电影想要的所有数据。下一步就是将其交给管道进行存储。

目录：

• 1. 编写items.py文件（定义结构化数据字段）
• 2. 爬虫文件里将数据一一对应字段名：
• 3. 将数据返回给管道：
• 4. 编写pipelines.py文件进行数据存储：
• 5. 某瓣Top250首页25个电影更多信息已经抓取完毕，效果如下：
• 拓展：上面实现了某瓣首页25个电影信息的爬取，那么如何爬取更多页呢？
• • 1. 首先，分析如何爬取两页：
  • 2. 获取两页的信息都可以实现了，那么获取更多（比如：10页），只要找到每页url的规律，给个循环就OK啦！
  • • 2.1 剖析每页url可知：每加一页，对应的start参数的值就会加25。
    • 2.2 在爬虫文件每个请求执行完成功之后，利用格式化输出.format()方法向引擎发送每页的请求即可！