Scrapy: 初识Scrapy

Posted 筱筱的春天

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy: 初识Scrapy相关的知识,希望对你有一定的参考价值。

1.初识Scrapy

Scrapy是为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或者存储历史数据等一系列的程序中。

2.选择一个网站

当需要从某个网站获取信息时,但该网站未提供API或者能通过程序获取信息的机制时,Scapy可以助你一臂之力。

3.定义想抓去的数据

在Scrapy中,通过Scrapy Items来完成的

import scrapy

class TorrentItem

 

以上是关于Scrapy: 初识Scrapy的主要内容,如果未能解决你的问题,请参考以下文章

Python | 初识爬虫框架Scrapy

初识Scrapy

爬虫(十四):Scrapy框架 初识Scrapy第一个案例

初识爬虫框架 Scrapy

初识Scrapy之再续火影情缘

python应用:爬虫框架Scrapy系统学习第三篇——初识scrapy