使用curl实现多线程

Posted 2023-05-16

参考技术A <?php

/*

curl 多线程抓取

*/

/**

* curl 多线程

*

* @param array $array 并行网址

* @param int $timeout 超时时间

* @return array

*/

functionCurl_http($array,$timeout)

$res=array();

$mh= curl_multi_init();//创建多个curl语柄

$startime= getmicrotime();

foreach($arrayas$k=>$url)

$conn[$k]=curl_init($url);

curl_setopt($conn[$k], CURLOPT_TIMEOUT,$timeout);//设置超时时间

curl_setopt($conn[$k], CURLOPT_USERAGENT,'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');

curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向级别

curl_setopt($conn[$k], CURLOPT_HEADER, 0);//这里不要header，加块效率

curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1);// 302 redirect

curl_setopt($conn[$k],CURLOPT_RETURNTRANSFER,1);

curl_multi_add_handle ($mh,$conn[$k]);



//防止死循环耗死cpu 这段是根据网上的写法

do

$mrc= curl_multi_exec($mh,$active);//当无数据，active=true

while($mrc== CURLM_CALL_MULTI_PERFORM);//当正在接受数据时

while($activeand$mrc== CURLM_OK) //当无数据时或请求暂停时，active=true

if(curl_multi_select($mh) != -1)

do

$mrc= curl_multi_exec($mh,$active);

while($mrc== CURLM_CALL_MULTI_PERFORM);





foreach($arrayas$k=>$url)

curl_error($conn[$k]);

$res[$k]=curl_multi_getcontent($conn[$k]);//获得返回信息

$header[$k]=curl_getinfo($conn[$k]);//返回头信息

curl_close($conn[$k]);//关闭语柄

curl_multi_remove_handle($mh,$conn[$k]);//释放资源



curl_multi_close($mh);

$endtime= getmicrotime();

$diff_time=$endtime-$startime;

returnarray('diff_time'=>$diff_time,

'return'=>$res,

'header'=>$header

);



//计算当前时间

functiongetmicrotime()

list($usec,$sec) =explode(" ",microtime());

return((float)$usec+ (float)$sec);



//测试一下，curl 三个网址

$array=array(

" http://www.weibo.com/ ",

" http://www.renren.com/ ",

" http://www.qq.com/ "

);

$data= Curl_http($array,'10');//调用

var_dump($data);//输出

?>

利用curl 模拟多线程

所谓多线程就是多个 程序同时运行，单线程：执行一段逻辑，等待完成后 在执行另外一个。

多线程：几个逻辑同时进行处理，不需要相互等待，提高了总的执行时间

接下来就用curl实现多线程

实现逻辑

1. fcsv.php 是csv生成文件。生成csv文件的时候，等待10秒钟。

2. curl.php 模拟多线程文件。 同时curl请求fcsv.php。

    如果单线程，第二个csv文件需要 等10秒后，第一个csv文件结束了才开始做动作。

    如果多线程，就是同时生成5个csv文件 。因为是并行的，所以相加也就10秒。

开始上代码

fcsv.php

 1 <?php 
 2 $p = isset($_POST[\'type\']) ? $_POST[\'type\'] : 0;
 3 $fp = fopen("file/demo_csv".$p.".csv","a"); //打开csv文件，如果不存在则创建
 4 $data_arr1 = array("10001","10002","10003","10004","10005"); //第一行数据
 5 $data_arr2 = array("20001","20002","20003","20004","20005"); //第二行数据
 6 $data_str1 = implode(",",$data_arr1); //用 \' 分割成字符串
 7 $data_str2 = implode(",",$data_arr2); //用 \' 分割成字符串
 8 $data_str = $data_str1.PHP_EOL.$data_str2.PHP_EOL; //加入换行符
 9 fwrite($fp,$data_str); //写入数据
10 fclose($fp); //关闭文件句柄
11 sleep(5);
12 return $p;
13 ?>

什么是PHP_EOL

curl.php

<?php

$mh = curl_multi_init();
$conn = [];
$res = [];
$url = "localhost/fcsv.php";

for ($i=0;$i<=5;$i++) {
     $data = array(\'type\' => $i);
     $conn[$i]=curl_init($url);
      curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1); //如果成功只将结果返回，不自动输出任何内容
      curl_setopt($conn[$i], CURLOPT_POSTFIELDS, $data); //post 传参
      curl_multi_add_handle ($mh,$conn[$i]);
}
do { $n=curl_multi_exec($mh,$active); }
while ($active);

for ($i=0;$i<=5;$i++) {
      $res[$i]=curl_multi_getcontent($conn[$i]);
      curl_close($conn[$i]);
}
print_r($res);


?>

   运行curl.php文件

    如果单线程，第二个csv文件需要 等10秒后，第一个csv文件结束了才开始做动作。

    如果多线程，就是同时生成5个csv文件 。因为是并行的，所以相加也就10秒。

　文件同时生成了，差不多10秒后浏览器返回值，停止请求。说明运行了多线程

 

这个多线程的写法步骤：
第一步：调用curl_multi_init
第二步：循环调用curl_multi_add_handle
这一步需要注意的是，curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步：持续调用curl_multi_exec
第四步：根据需要循环调用curl_multi_getcontent获取结果
第五步：调用curl_multi_remove_handle，并为每个字handle调用curl_close
第六步：调用curl_multi_close