Destoon搜索页开启百度蜘蛛抓取方法

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Destoon搜索页开启百度蜘蛛抓取方法相关的知识,希望对你有一定的参考价值。

产品和公司搜索页也是个不错争取排名的地方,Destoon默认禁止了搜索引擎对Search页的访问,修改办法:首先修改robots.txt去掉禁止search的那一行,然后查找整站的module目录
搜索403,把相关search页的:if($DT_BOT) dhttp(403);注释掉即可。
例:http://zhimo.yuanzhumuban.cc/sell/search-htm-kw-河北圆柱模板.html

以上是关于Destoon搜索页开启百度蜘蛛抓取方法的主要内容,如果未能解决你的问题,请参考以下文章

简单介绍使用Nginx限制百度蜘蛛频繁抓取的问题

Baiduspider - 百度蜘蛛

百度蜘蛛提升HTTPS抓取力度

百度蜘蛛爬行CSS和JS很多,这会不会浪费了蜘蛛的资源

详解百度蜘蛛ip段代表的不同含义

百度蜘蛛ip段代表的不同含义