Java 开源 web 垂直爬虫框架: webBee

Posted 2021-04-25 90处

• webBee 基于jdk8 是一个持续成长的垂直爬虫框架项目

• webBee 遵循MIT开源协议

• webBee 是一个不错的 java 进阶项目

• 设计初衷

• 设计简洁，面向接口

• 配置简单，明了

• 一次配置，自动匹配

• 涉及技术栈

• httpcomponents

• jsoup

• redis

• 代理

• 多线程

• 即将完善的内容

• 分布式爬取

• 代理接口

• 通过配置智能寻找目标 url

• 图片、视频的处理

• 可对熊猫tv、斗鱼tv等弹幕网站弹幕监听分析

• 制作一个炫酷的官网实例