javascript 从网页或服务中抓取js呈现的,代理响应的简单方法。 https://www.scraperapi.com/documentation

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了javascript 从网页或服务中抓取js呈现的,代理响应的简单方法。 https://www.scraperapi.com/documentation相关的知识,希望对你有一定的参考价值。

function scraperapi(key, url, render) {
  const opts = { key, url, render }
  const params = Object.keys(opts).reduce((x, k) => {
    if (opts[k]) x.push(`${k}=${encodeURIComponent(opts[k])}`)
    return x
  }, []).join('&')
  
  return fetch(`https://api.scraperapi.com/?${params}`).then(r => r.text())
}

/*
await scraperapi('f57740fb55daf06b70e0d83e31791728', 'http://www.example.com/', true)
*/

以上是关于javascript 从网页或服务中抓取js呈现的,代理响应的简单方法。 https://www.scraperapi.com/documentation的主要内容,如果未能解决你的问题,请参考以下文章

抓取通过JavaScript呈现的网页。 PhtantomJs还是其他任何工具?

Web 抓取 - 如何通过 Angular.js 访问以 JavaScript 呈现的内容?

使用PhantomJS和node.js保存并呈现网页

抓取 javascript 生成的网页数据

使用 PhantomJS 和 node.js 保存和渲染网页

抓取javascript生成的网页