爬虫框架scrapy安装

Posted 2021-07-02 爬虫实战笔记

免责声明：本文所记录的技术手段及实现过程，仅作为爬虫技术学习使用，不对任何人完全或部分地依据本文的全部或部分内容从事的任何事情和因其任何作为或不作为造成的后果承担任何责任。

Scrapy爬虫框架用Python编写的功能强大，应用范围最广，最流行的爬虫框架，框架提供了大量的爬虫相关的组件，能够方便快捷的完成各网站的爬取。

01

Scrapy安装

打开scrapy官方网站【scrapy.org】，目前最新版本为2.5：

按照官方提供的脚本，在命令行执行安装：pip install scrapy

之后会自动下载依赖的包，并完成安装：

02

创建scrapy工程

打开windows命令行，跳转到需要爬虫工程的目录，运行scrapy创建工程脚本：

scrapy startproject test001

Scrapy框架自动生成test001工程代码，通过Pycharm打开：

03

创建scrapy爬虫

进入工程的根目录，cd test001

运行生成爬虫的命令：scrapy genspider baidu_spider baidu.com

爬虫生成成功

04

运行scrapy爬虫

进入工程的根目录，cd test001

运行生成爬虫的命令：scrapy crawl baidu_spider

爬虫运行成功，由于没有编写爬虫代码，所以没有任何结果。