在 Node.Js 中使用请求抓取 javascript 生成的内容

Posted 2023-02-21

【中文标题】在 Node.Js 中使用请求抓取 javascript 生成的内容

【英文标题】：Scraping javascript generated content using request in Node.Js

【发布时间】：2022-01-24 00:54:58

【问题描述】：

我需要从 Google 搜索结果中抓取一些仅在浏览器中显示的内容（我怀疑是在启用 javascript 的情况下）——特别是他们的知识图谱中“人们也在搜索”的内容。

我使用request 和cheerio 的组合来抓取，并且已经设法从.com 域强制加载结果，但是，知识库框没有出现在我的结果的body 中，可能是因为它是 javascript 生成的内容。

有人知道我是否可以添加设置或可以使用其他库吗？

下面是我的代码。谢谢！

var request = require('request');
var cheerio = require("cheerio");

request = request.defaults(jar: true);

var options = 
    url: 'http://www.google.com/ncr',
    headers: 
        'User-Agent': 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16'
    
;

request(options, function () 

    request('https://www.google.com/search?gws_rd=ssl&site=&source=hp&q=google&oq=google', function (error, response, body) 

        var $ = cheerio.load(body);

        $("li").each(function() 
            var link = $(this);
            var text = link.text();

            console.log(text);
        );
    );
);

【参考方案1】：

您不能使用节点的请求，因为您只是在下载静态内容。为了呈现 JavaScript，您必须使用浏览器。幸运的是，有专门用于此目的的无头浏览器。我建议PhantomJS。

【讨论】：

谢谢！我发现在网上搜索...但是，PhantomJS 仍然没有从页面中获得我需要的信息。也许你知道可能出了什么问题？这是我发布的关于此问题的另一个问题：***.com/questions/27736883/… 谢谢！