scrapy的使用

Posted paulversion

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy的使用相关的知识,希望对你有一定的参考价值。

pip install scrapy 下载scrapy

scrapy startproject 项目名称

创建要抓取的网站的基本模板的生成 scrapy genspider cnblogs  news.cnblogs.com        cnblogs 为模板名称  news.cnblogs.com为要抓取网站的域名

运行scrapy的方法为 scrapy crawl cnblogs 

以上是关于scrapy的使用的主要内容,如果未能解决你的问题,请参考以下文章

python爬虫--scrapy框架的学习和使用⭐⭐⭐---第一部分

如何使用scrapy登录没有表单元素的scrapy

Python爬虫 scrapy -- scrapy 日志信息和日志等级scrapy shell的使用scrapy post请求

Scrapy管道(pipeline)的使用

爬虫--Scrapy框架的基本使用

scrapy使用