Scrapy框架学习笔记：猫眼爬虫

Posted 2021-08-09 howard2005

文章目录

• 一、提出任务
• 二、实现任务
• • （一）创建PyCharm项目 - MaoyanCrawler
  • （二）创建Scrapy项目 - Maoyan
  • （三）利用指令生成爬虫程序基本框架
  • （四）修改全局配置文件
  • （五）创建运行爬虫的程序 - run.py
  • （六）修改爬虫程序 - maoyan.py
  • • 1、分析爬取网页的网址规律
    • 2、先输出要请求的10个页面url
    • 3、爬取每个页面的电影详情信息
    • 4、在items.py里定义要抓取的数据字段
    • 5、创建数据库与表，用于保存抓取的数据
    • 6、在pipelines.py里定义管道，处理抓取的数据
    • 7、运行爬虫程序，将爬取的数据存入csv文件和数据库