新闻爬虫架构
Posted lnas01
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了新闻爬虫架构相关的知识，希望对你有一定的参考价值。
新闻爬虫系统架构：
- Zookeeper master：发布爬取任务 监控爬虫子节点存活性 宕机时重启
- Kafka：分布式消费队列
- Ip-pool：动态更换Ip 反防爬
- Extraction service：抽取规则服务器
disruptor：lock free用于快速消费任务
以上是关于新闻爬虫架构的主要内容，如果未能解决你的问题，请参考以下文章