抓取需要 cookie 的网站

Posted 2023-02-24

【中文标题】抓取需要 cookie 的网站

【英文标题】：Scraping a site that wants a cookie

【发布时间】：2011-07-03 21:13:31

【问题描述】：

我正在尝试抓取一个远程网站。我正在使用 php Curl，我的代码很好。我知道这是因为我使用 Fiddler、Tamper Data 等来使我的代码正确。但是，它仍然没有工作。所以，我尝试了一些我应该在几个小时前测试的东西：

我在浏览器中关闭了 cookie。果然，我现在无法搜索远程站点。他们的代码需要一个 cookie 来搜索我想要抓取的产品。

有没有办法伪造/欺骗/规避，以便我可以抓取网站？我可以告诉 CURL 使用我下载的 cookie 吗？我什至不知道该问什么正确的问题。

【参考方案1】：

查看 cookie 的各种 curl_setopt 参数。

您可以使用 CURLOPT_COOKIE 手动设置 cookie，或使用 CURLOPT_COOKIEJAR 和磁盘上的文件在多个请求中实际存储和持久化 cookie。

但是，您可能只需要一个会话 cookie，手册中说默认支持它——只要您对每个请求使用相同的 curl 实例。如果您为每个请求创建一个新的 curl 实例，这些实例将不会共享 cookie。

【参考方案2】：

Php Curl 支持 cookie。见：

文档：http://www.php.net/manual/en/book.curl.php 一些例子：http://coderscult.com/php/php-curl/2008/05/20/php-curl-cookies-example/