Nginx 防爬虫优化

Posted 2020-09-20

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Nginx 防爬虫优化相关的知识，希望对你有一定的参考价值。

我们可以根据客户端的 user-agents 首部字段来阻止指定的爬虫爬取我们的网站

if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot") {
    return 403;
}

以上是关于Nginx 防爬虫优化的主要内容，如果未能解决你的问题，请参考以下文章