关于百度站长工具里面的死链提交

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于百度站长工具里面的死链提交相关的知识,希望对你有一定的参考价值。

死链提交成功后,可以删掉服务器上面的死链文件吗?
死链文件的命名和网站地图的不一样,但是担心搜索引擎认为我的死链文件是网站地图的文件,那就中奖了!

我好像没有表达清楚,我的意思是我手动去删除这个死链文件,而不是说我提交了之后它自动给我删除!另外因为后缀名都是xml 所以担心其他搜索引擎会弄错!我想知道的是删除了还有没有提交死链的效果!如果不删除那对于其他搜索引擎来说会不会出现访问网站地图,结果访问成了死链文件!

实际操作上,死链是不用提交的哦,搜索引擎会自动更新掉无用链接的索引。提交只是加速删除的一种手段。
明白?
提交了,会加速删除,
情况一:SE已经删除了索引。
如果你又把那个文件删了,而网站中那个url不存在了,那就不会再索引。
如果网站中url还存在,那就会重新索引来自:求助得到的回答
参考技术A 不对呀!提交死链的后缀不是XML,你搞错了吧!死链跟地图是有区分的,死链是文档格式的,TXT后缀的 参考技术B 不会删除服务器上的死链。

Apache下通过shell脚本提交网站404死链

网站运营人员对于死链这个概念一定不陌生,网站的一些数据删除或页面改版等都容易制造死链,影响用户体验不说,过多的死链还会影响到网站的整体权重或排名。


百度站长平台提供的死链提交工具,可将网站存在的死链(协议死链、404页面)进行提交,可快速删除死链,帮助网站SEO优化。在提交死链的文件中逐个手动填写死链的话太麻烦,工作中我们提倡复杂自动化,所以本文我们一起交流分享Apache服务中通过shell脚本整理网站死链,便于我们提交。


技术分享


1.配置Apache记录搜索引擎

Apache是目前网站建设最为主流的web服务,但是apache的日志文件默认是不记录百度、谷歌等各大搜索引擎的爬取程序的,所以首先需要我们设置Apache的配置文件。

找到Apache的配置文件httpd.conf,在配置文件中找到下面两行:


 CustomLog "logs/access_log" common
 #CustomLog "logs/access_log" combined


默认采用的是common,这里我们只需要将common这一行前面加#注释掉,然后将combined这一行前的#去掉即可。然后保存重启Apache服务。

注:如果你的服务器上添加了多个站点,每个站点有单独的配置文件,则我们只需要在相应站点的配置文件中设置CustomLog项即可,例如:


vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf
下面是配置前后的网站日志记录格式:


配置前:

技术分享

配置后:

技术分享


2.编写shell脚本

我们通过shell脚本获取网站日志中指定爬虫的抓取记录,然后汇总到一个文件中,便于后期使用。代码如下,比如保存为deathlink.sh


#!/bin/bash
#初始化变量
#定义蜘蛛UA信息(默认是百度蜘蛛)
UA=‘+http://www.baidu.com/search/spider.html‘
 
#前一天的日期(apache日志)
DATE=`date +%Y%m%d -d "1 day ago"`
 
#定义日志路径
logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log
 
#定义死链文件存放路径
deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt
 
#定义网站访问地址
website=http://www.chanzhi.org
 
#分析日志并保存死链数据
for url in `awk -v str="${UA}" ‘$9=="404" && $15~str {print $7}‘ ${logfile}`
do
  grep -q "$url" ${deathfile} || echo ${website}${url} >>${deathfile}
done


大家在使用该脚本时,根据自己服务器情况调整下路径和字段即可,然后执行脚本,:


bash deathlink.sh


3.提交死链

执行上面脚本时候,就会在指定目录下生成包含所有获取的404页面链接的文件,每个连接占一行。例如:

技术分享

最后在站长平台提交死链页面中,填写自己的死链文件地址即可,例如:

技术分享


百度在审核通过之后,会将已经收录的失效链接删除,以避免失效页面链接对网站造成不良的影响。


总结:

本文和大家分享了在Apache服务环境下,如何利用shell脚本自动获取百度蜘蛛等爬虫抓取的死链,并生成汇总文件提交给搜索引擎。如果大家还有其他更好的方法或者疑问,欢迎一起分享交流。


技术分享

以上是关于关于百度站长工具里面的死链提交的主要内容,如果未能解决你的问题,请参考以下文章

网站被百度收录很多404死链怎么办呢?

网站死链怎么处理

网站有两个死链,在站长后台如何提交?

网站被挂马,网站删除重新上线,如何删除已被收录页面

Apache下通过shell脚本提交网站404死链

Apache下通过shell脚本提交网站404死链