php分享十八：网页抓取

Posted 2020-06-14

一、抓取远程图片到本地,你会用什么函数?

方法1：利用readfile读取远程图片到缓冲中，然后写入新的文件

function grabImage($url, $filename = ‘‘) { 
if($url == ‘‘) { 
return false; //如果 $url 为空则返回 false; 
} 
$ext_name = strrchr($url, ‘.‘); //获取图片的扩展名 
if($ext_name != ‘.gif‘ && $ext_name != ‘.jpg‘ && $ext_name != ‘.bmp‘ && $ext_name != ‘.png‘) { 
return false; //格式不在允许的范围 
} 
if($filename == ‘‘) { 
$filename = time().$ext_name; //以时间戳另起名 
} 
//开始捕获 
ob_start(); 
readfile($url); 
$img_data = ob_get_contents(); 
ob_end_clean(); 
$size = strlen($img_data); 
$local_file = fopen($filename , ‘a‘); 
fwrite($local_file, $img_data); 
fclose($local_file); 
return $filename; 
} 

方法2：sockets 

$a = "http://jb51.net/content/uploadfile/201106/thum-f3ccdd27d2000e3f9255a7e3e2c4880020110622095243.jpg"; 
$local = ‘socket1.gif‘; 
$aa = getImg($a,$local); 
/* 
*@ 完整的图片地址 
*@ 要存储的文件名 
*/ 
function getImg( $url = "", $filename = "" ) { 
if(is_dir(basename($filename))) { 
echo "The Dir was not exits"; 
Return false; 
} 
//去除URL连接上面可能的引号 
$url = preg_replace( ‘/(?:^[\‘"]+|[\‘"\/]+$)/‘, ‘‘, $url ); 
if (!extension_loaded(‘sockets‘)) return false; 
//获取url各相关信息 
preg_match( ‘/http:\/\/([^\/\:]+(\:\d{1,5})?)(.*)/i‘, $url, $matches ); 
if (!$matches) return false; 
$sock = socket_create( AF_INET, SOCK_STREAM, SOL_TCP ); 
if ( [email protected]_connect( $sock, $matches[1], $matches[2] ? substr($matches[2], 1 ) : 80 ) ) { 
return false; 
} 
//图片的相对地址 
$msg = ‘GET ‘ . $matches[3] . " HTTP/1.1\r\n"; 
//主机名称 
$msg .= ‘Host: ‘ . $matches[1] . "\r\n"; 
$msg .= ‘Connection: Close‘ . "\r\n\r\n"; 
socket_write( $sock, $msg ); 
$bin = ‘‘; 
while ( $tmp = socket_read( $sock, 10 ) ) { 
$bin .= $tmp; 
$tmp = ‘‘; 
} 
$bin = explode("\r\n\r\n", $bin); 
$img = $bin[1]; 
$h = fopen( $filename, ‘wb‘ ); 
$res = fwrite( $h, $img ) === false ? false : true; 
@socket_close( $sock ); 
Return $res; 
} 

方法3：curl 

<?php 
$url = "http://jb51.net/content/uploadfile/201106/thum-f3ccdd27d2000e3f9255a7e3e2c4880020110622095243.jpg"; 
$filename = ‘curl.gif‘; 
//http://jb51.net 
getImg($url, $filename); 
/* 
*@通过curl方式获取制定的图片到本地 
*@ 完整的图片地址 
*@ 要存储的文件名 
*/ 
function getImg($url = "", $filename = "") { 
if(is_dir(basename($filename))) { 
echo "The Dir was not exits"; 
Return false; 
} 
//去除URL连接上面可能的引号 
$url = preg_replace( ‘/(?:^[\‘"]+|[\‘"\/]+$)/‘, ‘‘, $url ); 
$hander = curl_init(); 
$fp = fopen($filename,‘wb‘); 
curl_setopt($hander,CURLOPT_URL,$url); 
curl_setopt($hander,CURLOPT_FILE,$fp); 
curl_setopt($hander,CURLOPT_HEADER,0); 
curl_setopt($hander,CURLOPT_FOLLOWLOCATION,1); 
//curl_setopt($hander,CURLOPT_RETURNTRANSFER,false);//以数据流的方式返回数据,当为false是直接显示出来 
curl_setopt($hander,CURLOPT_TIMEOUT,60); 
/*$options = array( 
CURLOPT_URL=> ‘http://jb51.net/content/uploadfile/201106/thum-f3ccdd27d2000e3f9255a7e3e2c4880020110622095243.jpg‘, 
CURLOPT_FILE => $fp, 
CURLOPT_HEADER => 0, 
CURLOPT_FOLLOWLOCATION => 1, 
CURLOPT_TIMEOUT => 60 
); 
curl_setopt_array($hander, $options); 
*/ 
curl_exec($hander); 
curl_close($hander); 
fclose($fp); 
Return true; 
} 
?> 

 

<?php
$url = "图片绝对地址/thumbnail.jpg";
$filename = ‘curl.jpg‘;
getImg($url, $filename);
/*
 *@通过curl方式获取制定的图片到本地
 *@ 完整的图片地址
 *@ 要存储的文件名
 */
function getImg($url = "", $filename = "") {
 if(is_dir(basename($filename))) {
  echo "The Dir was not exits";
  return false;
 }
 //去除URL连接上面可能的引号
 $url = preg_replace( ‘/(?:^[‘"]+|[‘"/]+$)/‘, ‘‘, $url );
 $hander = curl_init();
 $fp = fopen($filename,‘wb‘);
 curl_setopt($hander,CURLOPT_URL,$url);
 curl_setopt($hander,CURLOPT_FILE,$fp);
 curl_setopt($hander,CURLOPT_HEADER,0);
 curl_setopt($hander,CURLOPT_FOLLOWLOCATION,1);
 //curl_setopt($hander,CURLOPT_RETURNTRANSFER,false);//以数据流的方式返回数据,当为false是直接显示出来
 curl_setopt($hander,CURLOPT_TIMEOUT,60);
 /*$options = array(
  CURLOPT_URL=> ‘/thum-f3ccdd27d2000e3f9255a7e3e2c4880020110622095243.jpg‘,
  CURLOPT_FILE => $fp,
  CURLOPT_HEADER => 0,
  CURLOPT_FOLLOWLOCATION => 1,
  CURLOPT_TIMEOUT => 60
 );
 curl_setopt_array($hander, $options);
 */
 curl_exec($hander);
 curl_close($hander);
 fclose($fp);
 return true;
}
?>

　　

curl_setopt 为CURL调用设置一个选项
bool curl_setopt (int ch, string option, mixed value)
curl_setopt()函数将为一个CURL会话设置选项。option参数是你想要的设置，value是这个选项给定的值。
下列选项的值将被作为长整形使用(在option参数中指定)：
CURLOPT_INFILESIZE: 当你上传一个文件到远程站点，这个选项告诉PHP你上传文件的大小。
CURLOPT_VERBOSE: 如果你想CURL报告每一件意外的事情，设置这个选项为一个非零值。
CURLOPT_HEADER: 如果你想把一个头包含在输出中，设置这个选项为一个非零值。
CURLOPT_NOPROGRESS: 如果你不会PHP为CURL传输显示一个进程条，设置这个选项为一个非零值。
注意：PHP自动设置这个选项为非零值，你应该仅仅为了调试的目的来改变这个选项。
CURLOPT_NOBODY: 如果你不想在输出中包含body部分，设置这个选项为一个非零值。
CURLOPT_FAILONERROR: 如果你想让PHP在发生错误(HTTP代码返回大于等于300)时，不显示，设置这个选项为一人非零值。默认行为是返回一个正常页，忽略代码。
CURLOPT_UPLOAD: 如果你想让PHP为上传做准备，设置这个选项为一个非零值。
CURLOPT_POST: 如果你想PHP去做一个正规的HTTP POST，设置这个选项为一个非零值。这个POST是普通的 application/x-www-from-urlencoded 类型，多数被html表单使用。
CURLOPT_FTPLISTONLY: 设置这个选项为非零值，PHP将列出FTP的目录名列表。
CURLOPT_FTPAPPEND: 设置这个选项为一个非零值，PHP将应用远程文件代替覆盖它。
CURLOPT_NETRC: 设置这个选项为一个非零值，PHP将在你的 ~./netrc 文件中查找你要建立连接的远程站点的用户名及密码。
CURLOPT_FOLLOWLOCATION: 设置这个选项为一个非零值(象 “Location: “)的头，服务器会把它当做HTTP头的一部分发送(注意这是递归的，PHP将发送形如 “Location: “的头)。
CURLOPT_PUT: 设置这个选项为一个非零值去用HTTP上传一个文件。要上传这个文件必须设置CURLOPT_INFILE和CURLOPT_INFILESIZE选项.
CURLOPT_MUTE: 设置这个选项为一个非零值，PHP对于CURL函数将完全沉默。
CURLOPT_TIMEOUT: 设置一个长整形数，作为最大延续多少秒。
CURLOPT_LOW_SPEED_LIMIT: 设置一个长整形数，控制传送多少字节。
CURLOPT_LOW_SPEED_TIME: 设置一个长整形数，控制多少秒传送CURLOPT_LOW_SPEED_LIMIT规定的字节数。
CURLOPT_RESUME_FROM: 传递一个包含字节偏移地址的长整形参数，(你想转移到的开始表单)。
CURLOPT_SSLVERSION: 传递一个包含SSL版本的长参数。默认PHP将被它自己努力的确定，在更多的安全中你必须手工设置。
CURLOPT_TIMECONDITION: 传递一个长参数，指定怎么处理CURLOPT_TIMEVALUE参数。你可以设置这个参数为TIMECOND_IFMODSINCE 或 TIMECOND_ISUNMODSINCE。这仅用于HTTP。
CURLOPT_TIMEVALUE: 传递一个从1970-1-1开始到现在的秒数。这个时间将被CURLOPT_TIMEVALUE选项作为指定值使用，或被默认TIMECOND_IFMODSINCE使用。
下列选项的值将被作为字符串：
CURLOPT_URL: 这是你想用PHP取回的URL地址。你也可以在用curl_init()函数初始化时设置这个选项。
CURLOPT_USERPWD: 传递一个形如[username]:[password]风格的字符串,作用PHP去连接。
CURLOPT_PROXYUSERPWD: 传递一个形如[username]:[password] 格式的字符串去连接HTTP代理。
CURLOPT_RANGE: 传递一个你想指定的范围。它应该是”X-Y”格式，X或Y是被除外的。HTTP传送同样支持几个间隔，用逗句来分隔(X-Y,N-M)。
CURLOPT_POSTFIELDS: 传递一个作为HTTP “POST”操作的所有数据的字符串。
CURLOPT_REFERER: 在HTTP请求中包含一个”referer”头的字符串。
CURLOPT_USERAGENT: 在HTTP请求中包含一个”user-agent”头的字符串。
CURLOPT_FTPPORT: 传递一个包含被ftp “POST”指令使用的IP地址。这个POST指令告诉远程服务器去连接我们指定的IP地址。 这个字符串可以是一个IP地址，一个主机名，一个网络界面名(在UNIX下)，或是‘-‘(使用系统默认IP地址)。
CURLOPT_COOKIE: 传递一个包含HTTP cookie的头连接。
CURLOPT_SSLCERT: 传递一个包含PEM格式证书的字符串。
CURLOPT_SSLCERTPASSWD: 传递一个包含使用CURLOPT_SSLCERT证书必需的密码。
CURLOPT_COOKIEFILE: 传递一个包含cookie数据的文件的名字的字符串。这个cookie文件可以是Netscape格式，或是堆存在文件中的HTTP风格的头。
CURLOPT_CUSTOMREQUEST: 当进行HTTP请求时，传递一个字符被GET或HEAD使用。