基于Hadoop MapReduce的Web Java Crawler

Posted 2021-04-20

我想使用MapReduce架构实现基于Hadoop Framework的Java爬虫，并在HBase中插入内容。我尝试结合这两个教程：

Basic web crawler example

MapReduce tutorial

但我无法理解这个概念。在哪里放置从页面中提取链接的逻辑？ Mapper的输入数据类型是什么？提前致谢

答案

只需使用Apache Nutch - 它基于Hadoop并拥有您应该需要的一切以及更多。