Java Web Crawler库

Posted 2021-04-07

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Java Web Crawler库相关的知识，希望对你有一定的参考价值。

我想为实验制作一个基于Java的网络爬虫。我听说如果这是你第一次使用Java制作一个Web爬虫是可行的方法。但是，我有两个重要问题。

我的程序如何“访问”或“连接”到网页？请简要说明一下。（我理解从硬件到软件的抽象层的基础知识，这里我对Java抽象感兴趣）
我应该使用哪些库？我想我需要一个用于连接网页的库，一个用于HTTP / HTTPS协议的库和一个用于html解析的库。

答案

这是您的程序如何“访问”或“连接”到网页。

    URL url;
    InputStream is = null;
    DataInputStream dis;
    String line;

    try {
        url = new URL("http://stackoverflow.com/");
        is = url.openStream();  // throws an IOException
        dis = new DataInputStream(new BufferedInputStream(is));

        while ((line = dis.readLine()) != null) {
            System.out.println(line);
        }
    } catch (MalformedURLException mue) {
         mue.printStackTrace();
    } catch (IOException ioe) {
         ioe.printStackTrace();
    } finally {
        try {
            is.close();
        } catch (IOException ioe) {
            // nothing to see here
        }
    }

这将下载html页面的源代码。

对于HTML解析，请参阅this

还可以看看jSpider和jsoup

另一答案

我认为jsoup比其他人更好，jsoup运行Java 1.5及更高版本，Scala，android，OSGi和Google App Engine。

另一答案

以下是可用爬虫的列表：

https://java-source.net/open-source/crawlers

但我建议使用Apache Nutch

另一答案

Crawler4j是最适合您的解决方案，

Crawler4j是一个开源Java爬虫，它为爬网提供了一个简单的界面。您可以在5分钟内设置多线程Web爬虫！