web crawler(JAVA)

Posted 遥~

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了web crawler(JAVA)相关的知识，希望对你有一定的参考价值。

一、technologies

1、HttpClient+Jsoup

2、Webmagic

 

以上是关于web crawler(JAVA)的主要内容，如果未能解决你的问题，请参考以下文章

python crawler 爬虫学习资料干货

web crawler(JAVA)

Java Web Crawler库

基于Hadoop MapReduce的Web Java Crawler

Scrapy框架的执行流程解析

为google bot crawler提供不同的页面[关闭]