jsoup抓取网页内容

Posted 2020-08-14

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了jsoup抓取网页内容相关的知识，希望对你有一定的参考价值。

java项目有时候我们需要别人网页上的数据，怎么办？我们可以借助第三方架包jsou来实现，jsoup的中文文档，那怎么具体的实现呢？那就跟我一步一步来吧

最先肯定是要准备好这个第三方架包啦，下载地址，得到这个jar后在需要怎么做呢？别急，我们慢慢来

将jsoup.jar拷贝到项目的WebRoot—>WEB-INF—>lib文件夹

技术分享之后我们需要将这个架包引入一下哦！

右键项目选择build path—>configure build path—>libraries—>add jars—>找到刚刚放入的目录下的jsoup

技术分享

准备工作完成了，接下来就是我们的编码部分了，加油哦！

既然是抓取网页的内容那肯定首要有被抓的网站的地址，这里就以我其中一篇博客为准吧http://www.cnblogs.com/luhan/p/5953387.html

技术分享这个是我这篇文章的截图，比如我要抓取android零碎知识点，之后会一直更新哦这一段文字

//获取整个网站的根节点，也就是html开头部分一直到结束，这里get方式，post方式是一样的
Document document = Jsoup.connect(url).get();

//输出一下我们会看到整个字符串如下
System.out.println(document);

这里只是截图了一部分

技术分享

我们会看到我们需要抓的那一段文字在a标签包裹在，而且还有一个重要的就是id=cb_post_title_url，看过文档的应该知道，jsoup里面有getElementById这个方法，其实跟js里面获取元素是一样的，这里我们就可以用

getElementById的方法来获取这个a标签，获取到后我们就可以获取里面的内容了不是吗？而正好jsou也给我们提供了这样的一个方法text()方法，就是获取标签的文本内容，记得是文本而不是html形式的

如下我们通过getElementById这个方法来获取到我们想要的a标签

Element a = document.getElementById("cb_post_title_url");

这时候我们输出的内容如下
System.out.println(a.text());

技术分享

是不是得到了我们想要的了？当然啦，这只是jsoup的最简单的抓取而已，如果需要获取到的是个列表形式的啊，jsoup也一样可以的，我们都知道id是唯一的，不可以重复的，所以我们通过id获取到的只能是一行标签

但是一般列表比如ul-li我们就可以用getElementsByTag这个方法，通过标签名获取，然后再通过for循环的方式一个一个的去抓就完事啦，接下来附上代码

package com.luhan.text;


import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class Text {
    private static final String url = "http://www.cnblogs.com/luhan/p/5953387.html";
    
    public static void main(String[] args) {
        try {
            //获取整个网站的根节点，也就是html开头部分一直到结束
            Document document = Jsoup.connect(url).post();
            Element a = document.getElementById("cb_post_title_url");
            System.out.println(a.text());
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
}