有没有办法让 cURL 等到页面的动态更新完成？

Posted 2023-02-22

技术标签:

【中文标题】有没有办法让 cURL 等到页面的动态更新完成？【英文标题】：Is there a way to let cURL wait until the page's dynamic updates are done? 【发布时间】：2013-01-15 13:29:34 【问题描述】：

我在 php 中使用 cURL 获取页面。一切正常，但我正在获取页面的某些部分，这些部分是在页面加载后用 javascript 计算的。在 JavaScript 计算完成之前，cURL 已经将页面的源代码发送回我的 PHP 脚本，从而导致错误的最终结果。网站上的计算是由 AJAX 获取的，所以我无法以简单的方式重现该计算。此外，我无法访问目标页面的代码，因此我无法调整目标页面以满足我的 (cURL) 获取需求。

有什么方法可以告诉 cURL 等到所有动态流量完成？这可能会很棘手，因为某些 JavaScript 会不断将数据发送回另一个域，这可能会导致长时间挂起。但至少我可以测试，如果我至少得到正确的结果。

Safari 中的“我的开发人员”工具栏显示该页面在大约 1.57 秒内完成。也许我也可以静态告诉 cURL 等待 2 秒？

我想知道有什么可能性:)

【问题讨论】：

【参考方案1】：

cURL 不执行任何 JavaScript 或下载文档中引用的任何文件。所以 cURL 不能解决你的问题。

您必须在服务器端使用浏览器，告诉它加载页面，等待 X 秒，然后要求它为您提供 html。

看：http://phantomjs.org/（你需要使用 node.js，我不知道任何 PHP 解决方案）。

【讨论】：

幸运的是，这只是一小段代码。我将用 JavaScript 重写代码，然后使用 jQuery 和 PhantomJS 获取数据。谢谢你:) 有什么方法可以将 PhantomJS 简单地包含在我执行 jQuery 的本地 HTML 页面中？没有。 phantom.js 内部使用的是真正的 webkit 浏览器，这在客户端是做不到的。【参考方案2】：

不太了解您正在检索的页面或您想要包含的计算，但它可能是一个选项，可以直接 cURL 到为这些 ajax 请求提供服务的 URL。使用 Firebug 之类的东西来检查在目标页面上进行的 Ajax 调用，您可以找出 URL 和传递的任何参数。如果您确实需要完整的网页，也许您可以同时卷曲网页和 Ajax URL 并将两者结合到您的 PHP 代码中，但是它开始变得混乱。

【讨论】：

这是要走的路，而不是使用其他程序。【参考方案3】：

使用 php 实现它有一种非常棘手的方法。如果你真的喜欢它为 php 工作，你可能会使用 Codeception 设置与 Selenium 结合，并在无头模式下使用 Chrome 浏览器 webdriver。

以下是一些使其正常工作的一般步骤。

确保您的 PHP 项目中有代码接收 https://codeception.com

下载 chrome webdriver： https://chromedriver.chromium.org/downloads

下载硒： https://www.seleniumhq.org/download/

相应地配置它，查看代码接收框架的文档。

编写代码接收测试，您可以使用 $I->wait(5) 等表达式等待 5 秒或 $I->waitForJs('js expression here') 等待页面上的 js 脚本完成。

使用命令php vendor/bin/codecept path/to/test运行上一步测试中编写的

【讨论】：

【参考方案4】：