Linux下玩转nginx系列---如何使用upsync模块实现动态负载均衡

Posted anyRTC

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux下玩转nginx系列---如何使用upsync模块实现动态负载均衡相关的知识,希望对你有一定的参考价值。

一、HTTP动态负载均衡

动态负载均衡

动态负载均衡策略类似于加权轮询策略,可以通过对于后端服务器集群的状态监测,量化不同服务器的性能差异,来周期性调整服务器的比重来实现权重的动态调整。

nginx中传统的负载均衡,如果Upstream参数发生变化,每次都需要重新加载nginx.conf文件,因此扩展性不是很高,所以我们可以采用动态负载均衡,实现Upstream可配置化、动态化,无需人工重新加载nginx.conf。这类似分布式的配置中心。

动态负载均衡实现方案

  • Consul+Consul-template 每次发现配置更改需要raload nginx,重启Nginx。
  • Consul+OpenResty 实现无需raload动态负载均衡。
  • Consul+upsync+Nginx 实现无需raload动态负载均衡。

常用服务器注册与发现框架

1.常见服务发现框架 Consul、Eureka、ZooKeeper以及Etcd,ZooKeeper是这种类型的项目中历史最悠久的之一,它起源于Hadoop。它非常成熟、可靠,被许多大公司(YouTube、eBay、雅虎等)使用。

2.Consul 是 HashiCorp 公司推出的开源工具,用于实现分布式系统的服务发现与配置。Consul 使用 Go 语言编写,因此具有天然可移植性(支持Linux、windows和Mac OS X)。Consul采用主从模式的设计,使得集群的数量可以大规模扩展,集群间通过RPC的方式调用(HTTP和DNS)。Consul 内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value 存储、多数据中心方案,不再需要依赖其他工具(比如 ZooKeeper 等),使用起来也较为简单。

3.etcd是一个采用HTTP协议的健/值对存储系统,它是一个分布式和功能层次配置系统,可用于构建服务发现系统。其很容易部署、安装和使用,提供了可靠的数据持久化特性。它是安全的并且文档也十分齐全。

对于nginx下要实现动态负载均衡,目前有三个选择方式:

1.Tengine 的Dyups模块。

2.微博的Upsync+Consul 实现动态负载均衡。

3.OpenResty的balancer_by_lua(又拍云使用其开源的slardar(Consul balancer_by_lua))。

文章下面介绍怎么使用upsync模块和consul来实现nginx的动态负载均衡。

二、CONSUL快速入门

Consul是一款开源的分布式服务注册与发现系统,通过HTTP API可以使得服务注册、发现实现起来非常简单,它支持如下特性。

  • 服务注册:服务实现者可以通过HTTP API或DNS方式,将服务注册到Consul。
  • 服务发现:服务消费者可以通过HTTP API或DNS方式,从Consul获取服务的IP和PORT。故障检测:支持如TCP、HTTP等方式的健康检查机制,从而当服务有故障时自动摘除。
  • K/V存储:使用K/V存储实现动态配置中心,其使用HTTP长轮询实现变更触发和配置更改。
  • 多数据中心:支持多数据中心,可以按照数据中心注册和发现服务,即支持只消费本地机房服务,使用多数据中心集群还可以避免单数据中心的单点故障。
  • Raft算法:Consul使用Raft算法实现集群数据一致性。
  • 通过Consul可以管理服务注册与发现,接下来需要有一个与Nginx部署在同一台机器的Agent来实现Nginx配置更改和Nginx重启功能。我们有Confd或者Consul-template两个选择,而Consul-template是Consul官方提供的,我们就选择它了。其使用HTTP长轮询实现变更触发和配置更改(使用Consul的watch命令实现)。也就是说,我们使用Consul-template实现配置模板,然后拉取Consul配置渲染模板来生成Nginx实际配置。

CONSUL环境搭建

1.下载consul_1.13.1_linux_amd64.zip

wget https://releases.hashicorp.com/consul/1.13.1/consul_1.13.1_linux_amd64.zip

2.解压consul_0.7.5_linux_amd64.zip

unzip consul_0.7.5_linux_amd64.zip
#如果解压出现该错误
-bash: unzip: #未找到命令
#centos解决办法
yum -y install unzip
#ubuntu解决办法
apt-get -y install unzip

3.执行 ./consul 出现以下信息就说明安装成功

4.启动consul ,我的linux ip地址192.168.199.104

./consul agent -dev -ui -node=consul-dev -client=192.168.199.104

5.临时关闭防火墙

systemctl stop firewalld

6.浏览器访问192.168.199.104:8500,会出现如下页面

7.使用PostMan 注册HTTP服务

//此处ip地址为ConsulServer所在服务器的地址
//http://192.168.199.104:8500/v1/catalog/register/
//参数1

    "Datacenter": "dc1",
    "Node": "go-http",
    "Address": "192.168.199.104", //本地地址
    "Service": 
        "Id": "192.168.199.104:8080", # 8080
        "Service": "helloword",
        "tags": [
            "dev"
        ],
        "Port": 8080
    

//参数2

    "Datacenter": "dc1",
    "Node": "go-http",
    "Address": "192.168.199.104",
    "Service": 
        "Id": "192.168.199.104:8081",//8081
        "Service": "helloword",
        "tags": [
            "dev"
        ],
        "Port": 8081
    

Datacenter指定数据中心,
Address指定服务IP,
Service.Id指定服务唯一标识,
Service.Service指定服务分组,
Service.tags指定服务标签(如测试环境、预发环境等),
Service.Port指定服务端口。

8.发现HTTP服务

http://192.168.199.104:8500/v1/catalog/service/helloword

三、NGINX-UPSYNC-MODULE

注意:清除之前Nginx环境,重新安装。

NGINX-UPSYNC-MODULE简介

Upsync是新浪微博开源的基于Nginx实现动态配置的三方模块。Nginx-Upsync-Module的功能是拉取Consul的后端server的列表,并动态更新Nginx的路由信息。此模块不依赖于任何第三方模块。Consul作为Nginx的DB,利用Consul的KV服务,每个Nginx Work进程独立的去拉取各个upstream的配置,并更新各自的路由。

NGINX-UPSYNC-MODULE安装及配置整个流程

安装Nginx

wget http://nginx.org/download/nginx-1.23.1.tar.gz
#作用:实现反向代理、负载负载库

安装consul

wget https://releases.hashicorp.com/consul/1.13.1/consul_1.13.1_linux_amd64.zip
#作用:对动态负载均衡均配置实现注册

安装nginx-upsync-module

wget https://github.com/weibocom/nginx-upsync-module/archive/master.zip
#作用:nginx动态获取最新upstream信息
#解压安装
unzip master.zip
unzip consul_1.13.1_linux_amd64.zip
#如果解压出现该错误
-bash: unzip: 未找到命令
#centos解决办法
yum -y install unzip
#ubuntu解决办法
apt-get -y install unzip

#安装Nginx
#解压Nginx
tar -zxvf nginx-1.23.1.tar.gz
#配置Nginx
groupadd nginx
useradd -g nginx -s /sbin/nologin nginx
mkdir -p /var/tmp/nginx/client/
mkdir -p /usr/local/nginx

编译Nginx

cd nginx-1.23.1
./configure   --prefix=/usr/local/nginx   --user=nginx   --group=nginx   --with-http_ssl_module   --with-http_flv_module   --with-http_stub_status_module   --with-http_gzip_static_module   --with-http_realip_module   --http-client-body-temp-path=/var/tmp/nginx/client/   --http-proxy-temp-path=/var/tmp/nginx/proxy/   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi   --http-scgi-temp-path=/var/tmp/nginx/scgi   --with-pcre --add-module=../nginx-upsync-module-master
make && make install

编译的是报错
./configure: error: SSL modules require the OpenSSL library.
centos解决办法
yum -y install openssl openssl-devel
ubuntu解决办法
apt-get -y install openssl openssl-devel

创建upsync_dump_path

mkdir /usr/local/nginx/conf/servers/
#upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置,这样即使consul服务器出问题了,本地还有一个备份。

Upstream 动态配置

http 
    upstream helloworld
        server 127.0.0.1:1111;
        #连接Consul Server 动态获取 配置负载均衡信息,间隔0.5s获取信息
        upsync 192.168.199.104:8500/v1/kv/upstreams/helloworld upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
        #动态的拉去ConsulServer 相关负载均衡信息持久化到硬盘上
        upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf;
    
    server 
        listen       80;
        server_name  localhost;
        location / 
            proxy_pass http://helloword;
            index  index.html index.htm;
        
    

1.upsync指令指定从consul哪个路径拉取上游服务器配置;
upsync_timeout配置从consul拉取上游服务器配置的超时时间;upsync_interval配置从consul拉取上游服务器配置的间隔时间;upsync_type指定使用consul配置服务器;
strong_dependency配置nginx在启动时是否强制依赖配置服务器,如果配置为on,则拉取配置失败时nginx启动同样失败。
upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置,这样即使consul服务器出问题了,本地还有一个备份。

2.注意:替换 consul 注册中心地址
启动consul

临时关闭防火墙systemctl stop firewalld
我的linux Ip地址192.168.199.104
    ./consul agent -dev -ui -node=consul-dev -client=192.168.199.104

添加nginx Upstream服务

1.使用linux命令方式发送put请求
curl -X PUT http://192.168.199.104:8500/v1/kv/upstreams/helloworld/192.168.199.104:8080
curl -X PUT http://192.168.199.104:8500/v1/kv/upstreams/helloworld/192.168.199.104:8081
2.使用postmen 发送put请求
http://192.168.199.104:8500/v1/kv/upstreams/helloworld/192.168.199.104:8080 http://192.168.199.104:8500/v1/kv/upstreams/helloworld/192.168.199.104:8081
负载均衡信息参数
"weight":1, "max_fails":2, "fail_timeout":10, "down":0

启动Nginx

参考文档

nginx-proxy_pass官网
Full Example Configuration
nginx-upsync-module
【NGINX】基于CONSUL+UPSYNC+NGINX实现动态负载均衡

以上是关于Linux下玩转nginx系列---如何使用upsync模块实现动态负载均衡的主要内容,如果未能解决你的问题,请参考以下文章

Linux下玩转nginx系列——初识nginx及其使用入门

Linux下玩转nginx系列——nginx配置文件说明

Linux下玩转nginx系列——初识nginx及其使用入门

Linux下玩转nginx系列---nginx实现负载均衡

Linux下玩转nginx系列——nginx配置文件说明

Linux下玩转nginx系列---nginx日志配置文件说明