puppeteer获取网页中的websocket数据

Posted 2023-03-17

参考技术A 截止目前，Puppeteer 没有提供原生的用于处理 WebSocket 的 API 接口。只能通过更底层的 Chrome DevTool Protocol (CDP) 协议获得。

Puppeteer 使用 CDPSession 对象处理 CDP 协议相关

实现如下

参考：
https://www.lfhacks.com/tech/puppeteer-websocket/

puppeteer设置cookie获取网页内容

使用puppeteer进行页面渲染的时候因为要登录才能获取到数据，我们不想走登录流程，想直接把cookie设置好，就需要设置cookies。
按照下面的方式进行设置

const cookies = {
      url: url,
      name: '',
      value: ''
  };
 await page.setCookie(cookies);
 await page.goto(url);

第一个参数是URL，也就是要增加cookie的URL地址。后面两个就是这个URL下面要增加的cookie的name和value。

这样就可以使得页面是登录态的了。