scrapy爬虫的编写步骤
Posted dzhou
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了scrapy爬虫的编写步骤相关的知识，希望对你有一定的参考价值。
scrapy的步骤：
a.编写item，爬取的各个属性
b.编写spider，name 要和 scrapy crawl xxspider一致，里面编写parse的信息，就是xpath获取item的各个信息。同时获取下一个要爬取的url放入url_set()队列
c.pipeline,item的数据落地
d.setting的设置
4. 手写一个爬虫框架：
1.下载网页
2.过滤网页
3.数据落地
5. 手写一个建议爬虫的方法
1.下载网页
2.获取网页相关数据
3.数据落地
4.获取下一页地址
5.循环
以上是关于scrapy爬虫的编写步骤的主要内容，如果未能解决你的问题，请参考以下文章