Docker Consul

Posted 2021-02-21

Docker Consul 工具

一、Consul 理论知识

1.1、Consul 简介

Consul 是一个支持多数据中心分布式高可用的 服务发现 和 配置共享 的服务软件，由 HashiCorp 公司用 Go 语言开发，基于 Mozilla Public License 2.0 的协议进行开源。

主要特性：

Consul 支持健康检查，并允许 HTTP 、GRPC 和 DNS 协议调用 API 存储键值对。

一致性协议采用 Raft 算法，用来保证服务的高可用。

使用 GOSSIP 协议管理成员和广播消息, 并且支持 ACL 访问控制。

consul的实例叫agent，agent有两种运行模式：server和client 。

官方建议每个Consul Cluster数据中心至少有3个或以上的运ServerModeAgentClie节 点不限。

1.2、Consul 使用场景

Docker 容器的注册与配置共享

Coreos 实例的注册与配置共享

SaaS 应用的配置共享、服务发现和健康检查。

vitess 集群

与 confd 服务集成，动态生成 nginx 和 haproxy 配置文件

1.3、Consul 优势

市面现在有很多类似的软件比如：zookeeper 、Etcd、doozerd、eureka，Consul 相比这些软件有什么优势呢？

Consul 的优势有那几点：

使用 Raft 算法来保证一致性，比复杂的 Paxos 算法更直接。相比较而言，zookeeper 采用的是 Paxos，而 etcd 使用的则是 Raft。

支持 多数据中心，内外网的服务采用不同的端口进行监听。 多数据中心集群可以避免单数据中心的单点故 障，而其部署则需要考虑网络延迟，分片等情况等. zookeeper 和 etcd 均不提供多数据中心功能的支持。

支持 健康检查。 etcd 不提供此功能。

支持 HTTP、DNS 和 GPRS 协议接口。 zookeeper 的集成较为复杂，etcd 只支持 http 协议。

官方提供 WEB管理界面，etcd 无此功能。

1.4、consul 端口的了解

端口 说明

TCP/8300 用于服务器节点。客户端通过该端口RPC协议调用服务端口节点。

TCP/UDP/8301 用于单个数据中心所有节点之间互相通信，对LAN池信息的同步。

使得整个数据中心能够自动发现服务器地址，分布式检测节点故 障，事件广播。

TCP/UDP/8302 用于单个或多个数据中心之间的服务器节点的信息同步，对WAN信息同步。 针对互联网的高延迟进行优化，能够实现跨数据中心请求。

8500 基于HTTP协议，用于API接口或WEB UI访问

8600 作为DNS服务器，它使得我们可以通过节点查询节点信息。

二、基于Docker的Consul服务搭建

2.1、环境准备

consul服务： 192.168.66.138 Docker-ce、Compose-nginx服务、consul、Consul-template模块

容器服务： 192.168.66.129 Docker-ce、registrator

两台虚拟机，提前部署好：Docker-ce

2.2、部署Consul服务

mkdir /root/consul

cp consul_0.9.2_liunx_amd64.zip /root/consul

cd /root/consul
unzip consul_0.9.2_liunx_amd64.zip

// 使consul命令可以在任何目录下识别
mv consul /usr/bin

// 创建consul 代理agent
consul agent -server -bootstrap -ui -data-dir=/var/lib/sonsul-data -bind=192.168.66.138 -client=0.0.0.0 -node=consul-server01 &> /var/log/consul.log &

// 看consul 的8500端口服务已经启动
netstat -anpt |grep 8500

// 关闭防火墙
systemctl stop firewalld
setenforce 0

//查看集群成员信息
consul members
或者
consul info | grep leader

2.3、容器服务自动加入nginx集群

在容器服务器上安装 gliderlabs/registrator

检查容器运行状态

自动注册和注销docker容器的服务到服务配置中心

安装 Gliderlabs/Registrator 
// 可检查容器运行状态自动注册，还可以注销 docker 容器的服务到服务配置中心。
// 目前支持 Consul、Etcd、SkyDNS2
// 在 192.168.66.129 节点，执行

docker run -d --name=registrator --net=host -v /var/run/docker.sock:/tmp/docker.sock --restart=always gliderlabs/registrator:latest -ip=192.168.66.129             // 自己的IP地址
consul://192.168.66.138:8500    // 指向consul服务器

测试服务发现功能是否正常
docker run -itd -p:83:80 --name test-01 -h test01 nginx
docker run -itd -p:84:80 --name test-02 -h test01 nginx
docker run -itd -p:88:80 --name test-03 -h test01 httpd
docker run -itd -p:89:80 --name test-04 -h test01 httpd

2.4、验证consul 的服务发现功能

用浏览器输入http://192.168.66.138:8500

// 单击“ NODES ”，然后再点击“ consul-server01 ”

// 会出现5个服务

或者 ：在 consul服务器,查看服务

curl 127.0.0.1:8500/v1/catalog/services

2.5、部署consul-template和nginx

Consul-Template 是一个守护进程，用于实时查询Consul 集群信息，并更新文件系统上任意数量的指定模板，生成配置文件。 更新完成以后，可以选择运行shell 命令执行更新操作，重新加载Nginx。

Consul-Template可以查询 Consul 中的服务目录、Key、Key-values 等。

这种强大的抽象功能和查询语言模板可以使Consul-Template 特别适合动态的创建配置文件。

例如：创建Apache/Nginx Proxy Balancers、Haproxy Backends

1.准备 template 的 nginx 模板文件

cp consul-template_0.19.3_linux_amd64.zip /root/consul
cp nginx-1.12.2.tar.gz /root/consul

// 在 consul目录中操作
vim /root/consul/nginx.ctmpl

upstream http_backend {
  {{range service "nginx"}}
   server {{.Address}}:{{.Port}};
    {{end}}
}
server {
  listen 1216;
  server_name local|host 192.168.66.129;
  access_log /var/log/nginx/kgc.cn-access.log;
  index index.html index.php;
  location / {
    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Client-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://http_backend;
  }
}

2、编译安装nginx

yum install gcc gcc-c++ zlib-devel pcre-devel -y

tar zxvf nginx-1.12.2.tar.gz -C /opt 

cd /opt/nginx-1.12.2
./configure --prefix=/usr/local/nginx
make && make install

3.配置nginx

vim /usr/local/nginx/conf/nginx.conf

 http {
     include       mime.types;
     include     vhost/*.conf;   // 添加
     default_type  application/octet-stream;

稍后启动consul-template功能，会自动根据模板文件在vhost 目录下动态产生配置文件。

//创建虚拟主机目录
mkdir /usr/local/nginx/conf/vhost
//创建日志文件目录
mkdir /var/log/nginx

ln -s /usr/local/nginx/sbin/nginx /usr/bin/
//启动 nginx 服务
/usr/local/nginx/sbin/nginx

4.配置并启动 template

cd /root/consul
//解压
unzip consul-template_0.19.3_linux_amd64.zip

//使命令可以在任意目录使用
mv consul-template /usr/bin/

//启动服务，并指明nginx的配置文件名
consul-template -consul-addr 192.168.66.138:8500 -template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/kgc.conf:/usr/local/nginx/sbin/nginx -s reload" --log-level=info

另外打开一个终端查看生成配置文件

cat /usr/local/nginx/conf/vhost/kgc.conf

打开浏览器访问http://192.168.66.138:1216/，点击刷新，轮询调度访问 test01和test02容器里的nginx服务。

2.6、增加一个 nginx 容器节点

增加一个 nginx 容器节点，测试服务发现及配置更新功能

// 在容器服务
docker run -itd -p:85:80 --name test-05 -h test05 nginx

在consul服务器 监控装填会有提示自动更新

到这里，Docker Consul服务软件的自动发现和更新两个功能已经实现，并观察了 registrator 和 template的功能效果