Python-Scrapy库的安装与使用

Posted 热绪

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python-Scrapy库的安装与使用相关的知识,希望对你有一定的参考价值。

Python-Scrapy库的安装与使用

安装scrapy

Linux下安装scrapy:

sudo apt install python3 python3-dev

sudo apt install python3-pip

pip3 install scrapy

测试安装是否成功:import scrapy

在命令行终端输入:scrapy 查看相关信息

 

创建工程

scrapy startproject [工程名] 创建工程

scrapy startproject -h 查看帮助信息

 

使用scrapy startproject test1 创建测试用例(默认位置就是当前位置)

 

根据提示,进入相关目录。

 

工程文件作用:

scrapy.cfg 工程部署文件

items.py 设置要爬取的字段

pipelines.py 设置保存爬取内容

settings.py 设置文件,比如User-Agent

spiders 目录 :保存生成的爬虫文件

 

测试

我们切换到test1目录下,按照样例进行测试

 

再次访问spiders目录发现生成了爬虫文件

 

我们使用cat查看example.py文件

 

这段代码即是对example.com进行爬取的爬虫的基本框架。

以上是关于Python-Scrapy库的安装与使用的主要内容,如果未能解决你的问题,请参考以下文章

pytho爬虫之requests的使用

使用 python-Scrapy 抓取动态内容

Python-Scrapy框架

Python-Scrapy创建第一个项目

python-scrapy的编码问题

python里面pip作用是啥?