PHP中使用CURL之备忘

Posted 2020-08-17 自留记

1、curl只能抓取页面的部分内容的原因分析：

错误提示：CURL transport error: transfer closed with outstanding read data remaining

libcurl 发送大于1024字节数据时启用“Expect:100-continue‘特性：

在使用 curl 做 POST 的时候，当要 POST 的数据大于 1024 字节的时候，curl 并不会直接就发起 POST 请求，而是会分为两步： 1. 发送一个请求，包含一个 "Expect: 100-continue" 头域，询问 Server 是否愿意接收数据； 2. 接收到 Server 返回的 100-continue 应答以后，才把数据 POST 给 Server； 这是 libcurl 的行为。

第一，libcurl 在发送大于 1024 字节的 POST 请求时采用了这种方法，但是相对的，它会引起请求延迟的加大。

第二，并不是所有的 web server 都能正确处理并应答“100-continue”，比如 lighttpd，就会返回417”Expectation Failed “，造成请求逻辑出错。（郑昀注1：lighttpd 1.4 版本有此严重问题，于1.5版本修复。 郑昀注2：Resin 于 3.0.5 版本增加了对 Expect: 100-continue 的支持。）

解决：修改CURLOPT 项：

CURLOPT_HTTPHEADER => array("Content-Type: application/binary") 改为 CURLOPT_HTTPHEADER => array("Content-Type: application/binary","Expect:")