Scrapy爬虫框架
Posted sss4
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Scrapy爬虫框架相关的知识，希望对你有一定的参考价值。
前言：
自己利用requests模块下载页面，使用Beautifulsoup解析html内容，久而久之会遇到各种性能问题，所有专业级的爬虫还得使用 爬虫框架----Scrapy
Scrapy功能
----引用twisted模块异步下载页面
-----HTML解析成对象
-----代理
----延迟下载
----URL字段去重
----指定深度、广度
...........................
参考：http://www.cnblogs.com/wupeiqi/articles/6229292.html
以上是关于Scrapy爬虫框架的主要内容，如果未能解决你的问题，请参考以下文章