Nginx负载均衡和防爬虫策略
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Nginx负载均衡和防爬虫策略相关的知识,希望对你有一定的参考价值。
nginx负载均衡和防爬虫策略
vim langba888.conf
upstream langba888 {
#每60s进行一次健康检测,检测2次失败,则进行剔除
server 192.168.137.52:888 max_fails=2 fail_timeout=60s;
server 192.168.137.48:888 max_fails=2 fail_timeout=60s;
}
server {
listen 9999;
#防止爬虫策略
if ($http_user_agent ~* "WordPress") {
return 502;
}
if ($http_user_agent ~* "spider") {
return 502;
}
location / {
proxy_pass http://langba888; #反向代理
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
error_page 404 403 /40x.html;
location = /40x.html {
root /usr/share/nginx/html;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root /usr/share/nginx/html;
}
}
以上是关于Nginx负载均衡和防爬虫策略的主要内容,如果未能解决你的问题,请参考以下文章