使用nginx 防止网站爬虫
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了使用nginx 防止网站爬虫相关的知识，希望对你有一定的参考价值。
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot”) {
return 403;
}
本文出自 “12103362” 博客，谢绝转载！
以上是关于使用nginx 防止网站爬虫的主要内容，如果未能解决你的问题，请参考以下文章