Puppeteer爬取Youtube列表页面

Posted 科技小强

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Puppeteer爬取Youtube列表页面相关的知识,希望对你有一定的参考价值。

Puppeteer 是基于nodejs的爬取工具,小巧轻便,它提供各种API 来控制Chrome 或Chromium 浏览器,用来做为测试、爬虫都相当合适,并且所提供的API 语法浅显易懂。
Puppeteer 地址

通过几句简单的语句,我们可以是用Puppeteer爬取Youtube视频列表页面中的视频内容

const puppeteer = require(\'puppeteer\')

const browser = await puppeteer.launch({
args: [\'--no-sandbox\']
})
const page = await browser.newPage()
await page.goto(\'https://www.youtube.com/channel/UChaPcyq-uGOio8S_7-bguZA\')
const html = await page.content()

await browser.close()

爬取的网页内容经过简单的筛选就能得到视频内容。

具体的项目请看视频:

https://www.bilibili.com/vide...

https://www.bilibili.com/vide...

以上是关于Puppeteer爬取Youtube列表页面的主要内容,如果未能解决你的问题,请参考以下文章

PHP 爬虫体验 - 使用PHP + puppeteer爬取js动态渲染的页面内容

Puppeteer 截取上一个页面而不是当前页面

前端测试框架 puppeteer 文档翻译

使用nodejs的puppeteer库爬取瓜子二手车网站

nodejs爬虫笔记

php 爬取数据