scrapy

Posted 2021-12-18 kevin-red-heart

- scrapy:爬虫框架。异步爬取，高性能的数据解析+持久化存储操作，
- 框架：集成了很多功能且具有很强通用性的一个项目模板
- 如何学习框架：
    - 学习框架的功能模块的具体使用。

- 环境的安装：
      a. pip3 install wheel

      b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

      c. 进入下载目录，执行 pip3 install Twisted?17.1.0?cp35?cp35m?win_amd64.whl

      d. pip3 install pywin32

      e. pip3 install scrapy

- 使用流程：
    - 创建一个工程：scrapy startproject firstBlood
    - cd firstBlood
    - 创建爬虫文件：scrapy genspider first www.xxx.com
    - 执行：scrapy crawl first

- 持久化存储：
    - 基于终端指令：scrapy crawl qiubai -o filePath.csv
        - 好处：便捷
        - 弊端：局限性强（只可以将数据写入本地文件，文件后缀是由具体要求）
    - 基于管道：
        - 基于持久化存储的所有操作都必须写入到管道文件的管道类中