一种爬虫架构分享

Posted 北风之神0509

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一种爬虫架构分享相关的知识,希望对你有一定的参考价值。

这是舆情分析系统,一种泛提取的爬虫,主要是要爬取63个网站或搜索引擎的新闻。

爬虫系统主要是分为主动式调度系统和被动式调度系统。这个架构图是主动去拿种子。

还有一种是被动调用模式,自己不去爬,但是会被http接口触发来爬,比如查一个地方的房价,不是全网爬完再存数据库,而是不需要数据库,每次爬取都是实时的爬取并返回结果。

以上是关于一种爬虫架构分享的主要内容,如果未能解决你的问题,请参考以下文章

Python Scrapy分布式原理详解

一种Android客户端架构设计分享

如何设计自己的分布式爬虫框架?

后端开发分析抖音后台架构

分布式爬虫架构设计与实现

爬虫----初级概念的架构