推荐10款流行的java开源的网络爬虫

Posted 2020-08-13

1：JAVA爬虫WebCollector(Star:1345)

爬虫简介： WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本，支持分布式爬取。 爬虫内核： WebCollector致...

2：开源通用爬虫框架YayCrawler(Star:91)

YayCrawler是一个基于WebMagic开发的分布式通用爬虫框架，开发语言是Java。我们知道目前爬虫框架很多，有简单的，也有复杂的，有轻 量型的，也有重量型的

3：垂直爬虫WebMagic(Star:1213)

webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。 以下是爬取oschina博客的一段代码： Spider.create(new SimplePageProcessor("http://my.oschina.net/", "http...

4：雅虎开源的Nutch爬虫插件 Anthelion(Star:2888)

Anthelion 是 Nutch 插件，专注于爬取语义数据。 注意：此项目包括完整的 Nutch 1.6 版本，此插件放置在 /src/plugin/parse-anth Anthelion 使用在线学习方法来基于页面上下文预测富数据 Web 页面，从之前查看的页面提取的元数据获取反馈。 主要有三个扩展： AnthelionScoringFilter WdcParser TripleExtractor 示例：...

5：Java开源网络爬虫项目Nutch

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 Nutch的创始人是Doug Cutting，他同时也是Lucene、Hadoop和Avro开源项目的创始人。 Nutch诞生于2002年8月，是Apache旗下的一个用Java实现的开源搜索引擎项目，自Nutch1.2版本之后，Nutch已经从搜索引擎演...

6：Java网络蜘蛛/网络爬虫Spiderman(Star:1801)

Spiderman - 又一个Java网络蜘蛛/爬虫 Spiderman 是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。 最新提示：欢迎来体验最新版本Spiderman2，http://git.oschina.net/...

7：轻量化的Java网络爬虫 GECCO(Star:658)

Gecco是什么 Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，让您只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。Gecco框架有优秀的可扩展性，框架基于开闭原则进行设计，对修改关闭、对扩展开放。同时Gecco基于十分开...

8：开源爬虫框架WebPasser(Star:15)

WebPasser是一款可配置的开源爬虫框架，提供爬虫控制台管理界面，通过配置解析各类网页内容，无需写一句java代码即可抽取所需数据。 1.包含强大的页面解析引擎，提供jsoup、xpath、正则表达式等处理链，通过简单配置即可抽取所需的指定内容。 2.提供爬虫控制管理界面，可实时监控抓取状...

9：一个敏捷强大的Java爬虫框架SeimiCrawler(Star:635)

SeimiCrawler是一个敏捷的，独立部署的，支持分布式的Java爬虫框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。

10：爬虫系统NEOCrawler(Star:258)

NEOCrawler(中文名：牛咖)，是nodejs、redis、phantomjs实现的爬虫系统。代码完全开源，适合用于垂直领域的数据采集和爬虫二次开发。 【主要特点】 使用nodejs实现，javascipt简单、高效、易学、为爬虫的开发以及爬虫使用者的二次开发节约不少时间；nodejs使...