为什么要使用scrapy而不是requests+beautifulsoup?

Posted 飞哥100

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了为什么要使用scrapy而不是requests+beautifulsoup?相关的知识,希望对你有一定的参考价值。

总结起来,有俩点最重要:

1)scrapy使用twisted异步网络框架,类似nodejs,性能高;

2)scrapy内置的selector比beautifulsoup效率要高很多;

以上是关于为什么要使用scrapy而不是requests+beautifulsoup?的主要内容,如果未能解决你的问题,请参考以下文章

scrapy-redis怎么使用

Scrapy(爬虫框架)中,Spider类中parse()方法的工作机制

Python编程基础之(五)Scrapy爬虫框架

使用scrapy框架来进行抓取的原因

要搞scrapy-redis的话,分布那么多VPS怎么管理

scrapy爬取数据时,为啥总是302