使用Chrome快速实现数据的抓取

Posted 2020-09-22 TianFang

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了使用Chrome快速实现数据的抓取相关的知识，希望对你有一定的参考价值。

在前面的文章简单的介绍了一下Chrome调试模式的启动方式，但前面的API只能做到简单的打开，关闭标签操作，当我们需要对某个标签页进行详细的操作时，则需要用到页面管理API。首先我们还是来回顾下获取页面信息：

访问 http://127.0.0.1:9222/json，即可获取如下所示的页面信息

    {
        "description": "",
        "devtoolsFrontendUrl": "/devtools/inspector.html?ws=127.0.0.1:9222/devtools/page/6d4f925f-7220-47cd-a4f9-800686445ffb",
        "faviconUrl": "http://tianfang.cnblogs.com/favicon.ico",
        "id": "6d4f925f-7220-47cd-a4f9-800686445ffb",
        "title": "天方 - 博客园",
        "type": "page",
        "url": "http://tianfang.cnblogs.com/",
        "webSocketDebuggerUrl": "ws://127.0.0.1:9222/devtools/page/6d4f925f-7220-47cd-a4f9-800686445ffb"
    },

其中webSocketDebuggerUrl字段就是页面管理API的地址，从url格式就可以看出它是一个websocket形式的协议，首先我们看看链接地址：

ws://127.0.0.1:9222/devtools/page/92615aad-5862-48d5-983d-248468e9741a

通过简单的分析可以看出，它的变量只有两个：访问端口和页面Id，我们甚至不需要访问webSocketDebuggerUrl字段，直接根据Id也可以非常容易的构建这个地址的。大多数程序都有websocket的支持库的，这里为了测试，我直接找的一个在线websocket工具：http://www.blue-zero.com/WebSocket/，连接上后，就可以进行命令的收发了。

交互协议

Chrome远程调试模式是遵循Chrome DevTools Protocol的，这个协议在https://chromedevtools.github.io/devtools-protocol/中有详细的描述，它一般分为三个版本：

其中稳定版的是stable protocol，不过它的功能相对最新版要少些，如果不担心稳定性的问题的话，我们大多数的时候还是可以直接用(tot)版本的。

消息格式

Chrome DevTools Protocol的协议消息格式比较简单，是文本形式的，用json表示对象，它主要分为如下三种：请求、响应和通知。

请求：

请求是客户端主动向chrome发送的请求，具体格式可参考前面的协议，这里我们以Network.enable为例，我们发送的请求如下：

{"id":4,"method":"Network.enable","params":{"maxTotalBufferSize":10240}}

它内容主要包括id，method， params三个部分：id是自己建立的命令编号，method是发送的请求，params则是请求参数。

响应：

响应则是对请求的应答，并返回结果：

{"id":4,"result":{}}

响应内容包括两个部分：id和result，id为请求命令编号，result为请求结果。

通知：

通知为chrome主动通知给客户端的消息。例如，启用network.enable后，就会上报一些网络通知：

{"method":"Page.frameStoppedLoading","params":{"frameId":"7216.1"}}
{"method":"Network.loadingFailed","params":{"requestId":"7216.88","timestamp":2832.149269,"type":"Document","errorText":"","canceled":true}}