curl怎么带client-ip

Posted 2023-04-17

参考技术A 最近在做一些抓取其它网站数据的工作，当然别人不会乖乖免费给你抓数据的，有各种防抓取的方法。不过道高一尺，魔高一丈，通过研究都是有漏洞可以钻的。下面的例子都是用php写的，不会用php来curl的孩纸先学习一下这块再往下看，可以参考这篇文章：http://blog.csdn.net/linglongwunv/article/details/8020845
下面言归正传，先说一种常见的方式，伪造来源IP，这也是好多刷票朋友常用的方法：
1、简单一点的可以在header伪造X-FORWARDED-FOR，并伪造referer，代码如下：
[php] view plain copy
curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:111.222.333.4', 'CLIENT-IP:111.222.333.4'));
curl_setopt($ch, CURLOPT_REFERER, "http://www.test.com");

2、上面的方法大多数能糊弄过去，但也有抓到了真实IP的。就使用代理，麻烦在于你有一个有效的代理ip和端口号，有的还需要用户名密码，代码如下：
[php] view plain copy
curl_setopt($ch, CURLOPT_PROXY, "http://111.222.333.4:110");

另外还有一种情况，就是用浏览器可以访问，用curl就是不行，发现对方检查了useragent，如果没有就认为是抓取等非法来源，那么我们就自己在header加上useragent，代码如下：
[php] view plain copy
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (Khtml, like Gecko) Chrome/20.0.1132.57 Safari/536.11");

啦啦啦，完工~

远程读取json数据并写入数据库

参考:http://www.jb51.net/article/39937.htm

$curlPost = ‘a=1&b=2‘;//模拟POST数据
$ch = curl_init();
curl_setopt($ch, CURLOPT_HTTPHEADER, array(‘X-FORWARDED-FOR:0.0.0.0‘, ‘CLIENT-IP:0.0.0.0‘));  //构造IP
curl_setopt($ch, CURLOPT_REFERER, "http://www.jb51.net/");   //构造来路 
curl_setopt($ch,CURLOPT_URL, ‘http://www.jb51.net‘);//需要抓取的页面路径
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);//post值

$file_contents = curl_exec($ch);//抓取的内容放在变量中
curl_close($ch)

<?php
$mysql_server_name=‘localhost‘;
$mysql_username=‘test‘;
$mysql_password=‘test‘;
$mysql_database=‘apitest‘;
$conn=mysql_connect($mysql_server_name,$mysql_username,$mysql_password) or die("error connecting") ;
mysql_select_db($mysql_database);

$a=json_decode(request_post($url="http://weshop.zocai.com/Api/Global/mod_address_linkage_check/",$param="parentid"),true);
//var_dump($a);

foreach($a[‘info‘] as $row) {
//print_r($row);
$statement = "INSERT INTO `apitest` (id, status, areaid, parentid, name, remark, create_time, sort, level) VALUES ";
$statement .= ‘ ("‘ . implode($row, ‘","‘) . ‘")‘;
// echo $statement;
mysql_query($statement,$conn);
echo mysql_error();
// exit;

}

function request_post($url = ‘‘, $param = ‘‘) {
if (empty($url) || empty($param)) {
return false;
}

$postUrl = $url;
$curlPost = $param;
$ch = curl_init();//初始化curl
curl_setopt($ch, CURLOPT_URL,$postUrl);//抓取指定网页
curl_setopt($ch, CURLOPT_HEADER, 0);//设置header
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//要求结果为字符串且输出到屏幕上
curl_setopt($ch, CURLOPT_POST, 1);//post提交方式
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
$data = curl_exec($ch);//运行curl
curl_close($ch);
return $data;
}

?>