使用Nginx配置TCP负载均衡

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用Nginx配置TCP负载均衡相关的知识,希望对你有一定的参考价值。

参考技术A nginx是比较不错的开源Web服务器之一,但它也可以用作TCP和UDP负载均衡器。使用Nginx作为HAProxy的负载均衡器的主要好处之一是,它还可以负载均衡基于UDP的流量。在本文中,我们将演示如何将NGINX配置为Kubernetes集群中部署的应用程序的负载均衡。

假设Kubernetes集群已经配置好,我们将基于 CentOS 为Nginx创建一个虚拟机。

以下是实验种设置的详细信息:

Nginx (CenOS8 Minimal) - 192.168.1.50

Kube Master - 192.168.1.40

Kube Worker 1 - 192.168.1.41

Kube Worker 2 - 192.168.1.42

步骤1)安装epel仓库

因为nginx软件包在CentOS系统默认仓库里面没有,所以需要安装epel仓库:

[root@nginxlb ~]# dnf install epel-release -y

步骤2)安装Nginx

运行以下 命令 安装nginx:

[root@nginxlb ~]# dnf install nginx -y

使用rpm 命令 验证Nginx包的详细信息:

[root@nginxlb ~]# rpm -qi nginx

配置防火墙,允许访问nginx的http和https服务:

[root@nginxlb ~]# firewall-cmd --permanent --add-service=http

[root@nginxlb ~]# firewall-cmd --permanent --add-service=https

[root@nginxlb ~]# firewall-cmd –reload

使用以下命令将SE Linux 设置为permissive模式,并重启系统使selinux关闭生效:

[root@nginxlb ~]# sed -i s/^SELINUX=.*$/SELINUX=permissive/ /etc/selinux/config

[root@nginxlb ~]# reboot

步骤3)从Kubernetes中获取应用程序的NodePort详细信息

[kadmin@k8s-master ~]$  kubectl get all -n ingress-nginx

从上面的输出中可以看到,每个工作节点的NodePort 32760映射到端口80,NodePort 32375映射到443端口。我们将在Nginx配置文件中使用这些节点端口来做负载均衡。

步骤4)将Nginx配置负载均衡

编辑nginx配置文件,并添加以下内容:

[root@nginxlb ~]# vim /etc/nginx/nginx.conf

注释掉“server”部分(从38到57行):

并添加以下几行:

upstream backend

  server 192.168.1.41:32760;

  server 192.168.1.42:32760;



server

  listen 80;

  location /

      proxy_read_timeout 1800;

      proxy_connect_timeout 1800;

      proxy_send_timeout 1800;

      send_timeout 1800;

      proxy_set_header        Accept-Encoding  "";

      proxy_set_header        X-Forwarded-By    $server_addr:$server_port;

      proxy_set_header        X-Forwarded-For  $remote_addr;

      proxy_set_header        X-Forwarded-Proto $scheme;

      proxy_set_header Host $host;

      proxy_set_header X-Real-IP $remote_addr;

      proxy_pass http://backend;

 

    location /nginx_status

        stub_status;

   



保存配置文件,并退出。

根据上述更改,所有向nginx的80端口的请求,都将被路由到的Kubernetes工作节点(192.168.1.41和192.168.1.42)的NodePort(32760)端口上。

使用以下命令启用Nginx服务:

[root@nginxlb ~]# systemctl start nginx

[root@nginxlb ~]# systemctl enable nginx

测试Nginx的 TCP负载均衡器

要测试nginx作为Kubernetes的TCP负载均衡是否工作正常,请部署基于nginx的deployment,将deployment的端口暴露为80端口,并为nginx 的deployment定义入口资源。我已经使用以下命令来部署这些Kubernetes对象:

[kadmin@k8s-master ~]$ kubectl create deployment nginx-deployment --image=nginx

deployment.apps/nginx-deployment created

[kadmin@k8s-master ~]$ kubectl expose deployments nginx-deployment  --name=nginx-deployment --type=NodePort --port=80

service/nginx-deployment exposed

运行以下命令以获取deployments,svc和ingress详细信息:

更新本地主机的hosts文件,以便nginx-lb.example.com指向nginx服务器的IP地址(192.168.1.50)

[root@localhost ~]# echo "192.168.1.50  nginx-lb.example.com" >> /etc/hosts

尝试通过浏览器访问nginx-lb.example.com

总结

上面证实了Nginx作为TCP负载均衡器可以正常工作,因为它可以负载平衡K8s工作节点之间端口80上的TCP通信量。

使用 Nginx 配置 TCP 负载均衡

Nginx是比较不错的开源Web服务器之一,但它也可以用作TCP和UDP负载均衡器。使用Nginx作为HAProxy的负载均衡器的主要好处之一是,它还可以负载均衡基于UDP的流量。在本文中,我们将演示如何将NGINX配置为Kubernetes集群中部署的应用程序的负载均衡。

使用 Nginx 配置 TCP 负载均衡

假设Kubernetes集群已经配置好,我们将基于CentOS为Nginx创建一个虚拟机。

以下是实验中设置的详细信息:
Nginx (CenOS8 Minimal) - 192.168.1.50
Kube Master - 192.168.1.40
Kube Worker 1 - 192.168.1.41
Kube Worker 2 - 192.168.1.42



步骤1:安装epel仓库



因为nginx软件包在CentOS系统默认仓库里面没有,所以需要安装epel仓库:

[root@nginxlb ~]# dnf install epel-release -y
<以上代码可复制粘贴,可往左滑>



步骤2:安装Nginx



运行以下命令安装nginx:

[root@nginxlb ~]# dnf install nginx -y
<以上代码可复制粘贴,可往左滑>

使用rpm命令验证Nginx包的详细信息:

[root@nginxlb ~]# rpm -qi nginx
<以上代码可复制粘贴,可往左滑>

使用 Nginx 配置 TCP 负载均衡


配置防火墙,允许访问nginx的http和https服务:

[root@nginxlb ~]# firewall-cmd --permanent --add-service=http
[root@nginxlb ~]# firewall-cmd --permanent --add-service=https
[root@nginxlb ~]# firewall-cmd –reload
<以上代码可复制粘贴,可往左滑>

使用以下命令将SELinux设置为permissive模式,并重启系统使selinux关闭生效:

[root@nginxlb ~]# sed -i s/^SELINUX=.*$/SELINUX=permissive/ /etc/selinux/config
[root@nginxlb ~]# reboot
<以上代码可复制粘贴,可往左滑>



步骤3:从Kubernetes中获取应用程序的NodePort详细信息



[kadmin@k8s-master ~]$  kubectl get all -n ingress-nginx

<以上代码可复制粘贴,可往左滑>使用 Nginx 配置 TCP 负载均衡


从上面的输出中可以看到,每个工作节点的NodePort 32760映射到端口80,NodePort 32375映射到443端口。我们将在Nginx配置文件中使用这些节点端口来做负载均衡。



步骤4:将Nginx配置负载均衡



编辑nginx配置文件,并添加以下内容:

[root@nginxlb ~]# vim /etc/nginx/nginx.conf
<以上代码可复制粘贴,可往左滑>

注释掉“server”部分(从38到57行):

使用 Nginx 配置 TCP 负载均衡


并添加以下几行:

upstream backend {
   server 192.168.1.41:32760
   server 192.168.1.42:32760;
}

server {
   listen 80;
   location / {
       proxy_read_timeout 1800;
       proxy_connect_timeout 1800;
       proxy_send_timeout 1800;
       send_timeout 1800;
       proxy_set_header        Accept-Encoding   "";
       proxy_set_header        X-Forwarded-By    $server_addr:$server_port;
       proxy_set_header        X-Forwarded-For   $remote_addr;
       proxy_set_header        X-Forwarded-Proto $scheme;
       proxy_set_header Host $host;
       proxy_set_header X-Real-IP $remote_addr;
       proxy_pass http://backend;
   }

    location /nginx_status {
        stub_status;
    }
}

<以上代码可复制粘贴,可往左滑>

使用 Nginx 配置 TCP 负载均衡


保存配置文件,并退出。

使用 Nginx 配置 TCP 负载均衡


根据上述更改,所有向nginx的80端口的请求,都将被路由到的Kubernetes工作节点(192.168.1.41和192.168.1.42)的NodePort(32760)端口上。

使用以下命令启用Nginx服务:

[root@nginxlb ~]# systemctl start nginx
[root@nginxlb ~]# systemctl enable nginx
<以上代码可复制粘贴,可往左滑>

·测试Nginx的 TCP负载均衡器

要测试nginx作为Kubernetes的TCP负载均衡是否工作正常,请部署基于nginx的deployment,将deployment的端口暴露为80端口,并为nginx 的deployment定义入口资源。我已经使用以下命令来部署这些Kubernetes对象:

[kadmin@k8s-master ~]$ kubectl create deployment nginx-deployment --image=nginx
deployment.apps/nginx-deployment created
[kadmin@k8s-master ~]$ kubectl expose deployments nginx-deployment  --name=nginx-deployment --type=NodePort --port=80
service/nginx-deployment exposed
<以上代码可复制粘贴,可往左滑>

运行以下命令以获取deployments,svc和ingress详细信息:

使用 Nginx 配置 TCP 负载均衡

[root@localhost ~]# echo "192.168.1.50  nginx-lb.example.com" >> /etc/hosts
<以上代码可复制粘贴,可往左滑>

尝试通过浏览器访问nginx-lb.example.com

使用 Nginx 配置 TCP 负载均衡



总    结



上面证实了Nginx作为TCP负载均衡器可以正常工作,因为它可以负载平衡K8s工作节点之间端口80上的TCP通信量。

END

官方站点:www.linuxprobe.com

Linux命令大全:www.linuxcool.com

刘遄老师QQ:5604922

Linux技术交流群:193666693

(新群,火热加群中……)

想要学习Linux系统的读者可以点击"阅读原文"按钮来了解书籍《Linux就该这么学》,同时也非常适合专业的运维人员阅读,成为辅助您工作的高价值工具书!


以上是关于使用Nginx配置TCP负载均衡的主要内容,如果未能解决你的问题,请参考以下文章

使用 Nginx 配置 TCP 负载均衡

Nginx基于TCP/UDP端口的四层负载均衡(stream模块)配置梳理

180天云计算小白到大神-Nginx TCP负载均衡

nginx如何做到TCP的负载均衡

nginx基于tcp负载均衡

Nginx基于TCP的负载均衡的配置例子