使用Chrome Headless 快速实现java版数据的抓取

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用Chrome Headless 快速实现java版数据的抓取相关的知识,希望对你有一定的参考价值。

参考《使用Chrome快速实现数据的抓取(一)——概述》和《使用Chrome快速实现数据的抓取(二)——协议》。

各协议客户端实现参考:https://github.com/ChromeDevTools/awesome-chrome-devtools#chrome-devtools-protocol。

Java: cdp4j - Java library for CDP,使用这个类库实现。

地址:https://github.com/webfolderio/cdp4j

maven引入:

<dependency>
    <groupId>io.webfolder</groupId>
    <artifactId>cdp4j</artifactId>
    <version>1.1.0</version>
</dependency>
官方例子:
import io.webfolder.cdp.Launcher;import io.webfolder.cdp.session.Session;import io.webfolder.cdp.session.SessionFactory;public class HelloWorld {    public static void main(String[] args) {        Launcher launcher = new Launcher();        try (SessionFactory factory = launcher.launch();                            Session session = factory.create()) {

            session.navigate("https://webfolder.io");
            session.waitDocumentReady();            String content = (String) session.getProperty("//body", "outerText");            System.out.println(content);

        }
    }
}
更多例子,如PrintToPDF,请参考https://github.com/webfolderio/cdp4j


以上是关于使用Chrome Headless 快速实现java版数据的抓取的主要内容,如果未能解决你的问题,请参考以下文章

CentOS 7.x环境下搭建: Headless chrome + Selenium + ChromeDriver 实现自动化测试

基于headless chrome的游戏资源下载实现 (初版)

chrome headless 无头浏览器 应用

Java 实现 HttpClients+jsoup,Jsoup,htmlunit,Headless Chrome 爬虫抓取数据

selenium+python自动化87-Chrome浏览器静默模式启动(headless)

使用 `google-chrome --headless` 时如何设置浏览器窗口大小?