Scrapy框架

Posted renshaoqi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy框架相关的知识,希望对你有一定的参考价值。

一 简介

  Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试

 

安装scrapy

使用pip进行安装

运行cmd命令进入终端

执行命令:pip install Scrapy

技术图片

安装Scrapy一般会出现下面的错误

技术图片

次提示系统没有Microsoft Visual C++ 14.0,需要先安装

Microsoft Visual C++ 14.0 提取码:lubx

安装好之后再次执行pip install Scrapy命令即可

 

使用 Scrapy

1、使用终端进入到需要创建项目的路径下

这里我在F盘创建

2、输入scrapy startproject 项目名称  进行项目创建

技术图片

 

 

 

以上是关于Scrapy框架的主要内容,如果未能解决你的问题,请参考以下文章

爬虫scrapy框架介绍

Python爬虫 ---scrapy框架初探及实战

Python Scrapy框架

scrapy框架之crawl问题解决

Python编程基础之(五)Scrapy爬虫框架

你懂Scrapy吗?Scrapy大型爬虫框架讲解