Apache 搜索引擎限制配置

Posted 2020-10-22 项思凯

搜索引擎限制　　

　　user_agent收入的搜索引擎，在搜索引擎中，我们通过百度，谷歌很容易就可以查到相关的一些资料，方便了我们对知识的查找，但在某些特定情况下，我们并不希望有人可以通过某写搜索引擎直接访问到我们的网页。举例如果我开放了一个公网的服务，这个网页带宽很小，只能容纳几个人访问，所有在这种条件下我们并不希望更多的人通过百度，或者谷歌访问这个页面，来消耗我们的带宽，在这里我们就可以通过rewirete功能针对%

• {HTTP_USER_AGENT}搜索引擎进行限制。
• %{REQUEST_URI}：网页锁定URI文件

 

限制配置

方式一

vim httpd-vhosts.conf

<ifModule mod_rewrite.c>
    # 开启功能模块
    RewriteEngine on
    # 指定引擎*Firefox/4.0
    RewriteCond %{HTTP_USER_AGENT} ^.*Firefox/4.0* [NC,OR]
    # 指定引擎Tomato Bot/1.0
    RewriteCond %{HTTP_USER_AGENT} ^.*Tomato Bot/1.0* [NC]
    # 防止死循环、不匹配404跳转到这里
    RewriteCond %{REQUEST_URI} !^/404*
    # 如果指定到搜索引擎就报404错误
    RewriteRule .* /404.html
</ifModule>

配置文件

注：请注意，你的404.html千万别在天传到其他页面了，否则很可能就会死循环。

注：其实rewrite到404.html并不是很好的办法，而apache的rewrite功能有意向就是forbidden，那就是F。

方式二

vim httpd-vhosts.conf

<ifModule mod_rewrite.c>
    # 开启功能模块
    RewriteEngine on
    # 指定引擎*Firefox/4.0
    RewriteCond %{HTTP_USER_AGENT} ^.*Firefox/4.0* [NC,OR]
    # 指定引擎Tomato Bot/1.0    
    RewriteCond %{HTTP_USER_AGENT} ^.*Tomato Bot/1.0* [NC]         
    # 如果指定到搜索引擎就显示forbidden
    RewriteRule .* - [F]
</ifModule>

配置文件