javascript 从网页或服务中抓取js呈现的,代理响应的简单方法。 https://www.scraperapi.com/documentation
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了javascript 从网页或服务中抓取js呈现的,代理响应的简单方法。 https://www.scraperapi.com/documentation相关的知识,希望对你有一定的参考价值。
function scraperapi(key, url, render) {
const opts = { key, url, render }
const params = Object.keys(opts).reduce((x, k) => {
if (opts[k]) x.push(`${k}=${encodeURIComponent(opts[k])}`)
return x
}, []).join('&')
return fetch(`https://api.scraperapi.com/?${params}`).then(r => r.text())
}
/*
await scraperapi('f57740fb55daf06b70e0d83e31791728', 'http://www.example.com/', true)
*/
以上是关于javascript 从网页或服务中抓取js呈现的,代理响应的简单方法。 https://www.scraperapi.com/documentation的主要内容,如果未能解决你的问题,请参考以下文章
抓取通过JavaScript呈现的网页。 PhtantomJs还是其他任何工具?
Web 抓取 - 如何通过 Angular.js 访问以 JavaScript 呈现的内容?
使用PhantomJS和node.js保存并呈现网页
抓取 javascript 生成的网页数据
使用 PhantomJS 和 node.js 保存和渲染网页
抓取javascript生成的网页