Python爬虫之scrapy框架环境安装

Posted 2021-09-04 汤米先生

文章目录

• 前言
• 一. scrapy框架环境安装
• 二. 创建一个scrapy工程

---

前言

为什么要学习scrapy框架？
框架是一个集成了很多功能，并且具有很强通用性的一个项目模板。
scrapy框架就具有许多强大的功能，例如高性能的持久化存储操作，异步的数据下载操作，高性能的数据解析操作，还有分布式操作等等。
总而言之，学习scrapy框架能让我们更加高效率的进行爬虫工作。

---

一. scrapy框架环境安装

1. 下载twisted异步模块下载：
   找对应的Python版本号下载，后面又64位和32位的选择
   
   下载完解压到桌面
   win+r
   先 cd desktop
   输入以下内容

pip install Twisted-20.3.0-cp38-cp38-win_amd64.whl

后面是你下载的文件名

2. 依次安装模块

pip install wheel
pip install pywin32
pip install scrapy

安装完后输入 scrapy 显示下图表示安装成功

二. 创建一个scrapy工程

1. 创建一个scrapy工程

scrapy startproject 项目名

2. 创建一个爬虫文件

scrapy genspider 爬虫文件名 域名

3. 运行一个爬虫

scrapy crawl 爬虫名

spiders内是新建的爬虫文件