爬虫的框架:Scarpy

Posted yanzhuping

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫的框架:Scarpy相关的知识,希望对你有一定的参考价值。

1、新建Scrapy项目:

进入项目目录,按住shift,选择windows powershell,在弹出的窗口输入:scarpy startproject 项目名

2、新建爬虫案例:

在新建的项目根目录中,按住shift,选择windows powershell,在弹出的窗口输入:scrapy genspider  爬虫名称 爬取页面的主机地址(scrapy genspider example example.com)

或者直接在第一步的窗口中:

cd youdaoSpider
scrapy genspider example example.com

3、执行命令:scarpy crawl 爬虫名称

以上是关于爬虫的框架:Scarpy的主要内容,如果未能解决你的问题,请参考以下文章

优秀的Scrapy爬虫框架常用工具命令

Python爬虫框架Scrapy安装使用步骤

Scarpy框架持久化存储

scrapy爬虫基本实现和爬虫思想

Python爬虫之Scrapy框架系列(10)——Scrapy选择器selector

Python爬虫之Scrapy框架系列(10)——Scrapy选择器selector