Jenkins开源版系统高可用架构设计

Posted 2021-04-07 DevOps持续集成

前言

本篇文章主要内容来自《How to configure Jenkins with High Availability?》，周末经过个人参考进行实践，对内容做了一些补充，希望有帮助。

原文地址：https://www.opcito.com/blogs/how-to-configure-jenkins-with-high-availability/

     

1

背景

为了追求更快的应用程序开发，我们发明，测试和实施了几种实践，这些实践彻底改变了我们开发应用程序的方式。持续集成（CI）就是这样的DevOps实践之一，它通过将开发人员的技能与大量工具结合起来，提高了应用程序开发的速度。Jenkins是一种流行的CI工具，用于自动执行复杂任务。随着基础架构的发展，您必须开始考虑使用Jenkins保护和负载平衡CI / CD工具，这是任何DevOps文化的核心。

在给DevOps管道带来的所有便利中，Jenkins的单点故障可能会破坏整个DevOps流程。因此，重要的是要确保您的詹金斯是万无一失的。现在有多种方法可以实现这一目标。您可以使用企业Jenkins产品，但这会增加成本。对我而言，我建议的最简单的方法是使用两个Jenkins主服务器配置Jenkins高可用性，其中一个将始终是主动服务于构建，而另一个则是被动的。如果先前处于活动状态的主机变为非活动状态，则被动或非活动主机将被激活。想知道如何设置吗？我已经覆盖了你。在进行实际的设置和配置之前，让我们看一下此设置的先决条件。

• 需要准备三台主机 一台用于HA代理，另外两台部署Jenkins。
  

• 在其中一台机器中部署NFS共享存储。

• 具备一定的HAproxy和NFS存储相关知识。
  

2

什么是高可用？

当我们说高可用性时，我们指的是可以长时间连续运行而不会出现故障的系统。该术语表示系统已经过全面测试，可以承受任何类型的故障。Jenkins是DevOps的重要组成部分，其停机时间可能会对DevOps环境产生不利影响。为了克服这些问题，我们需要为Jenkins设置高可用性。

HaProxy如何工作？

• 用户的Web浏览器使用完全限定的域名（例如http://jenkins.domain.com），通过分配给常用HTTP的端口80向负载均衡器发送请求。

• 如果负载平衡器服务器不可用，则对该服务器的请求将超时。如果负载均衡器可用，则根据计算机的可用性路由请求。

• HAProxy在其配置文件中引用负载均衡器池，确定必须将客户端请求路由到的应用程序服务器。该接收请求的服务器通常是包括专用应用程序服务器的自动扩展阵列的一部分。

• HAProxy将此请求转发到其配置文件中引用的服务器端口（通常为端口80）。

3

Jenkins HA配置

现在让我们看看如何配置HAProxy。

如上图所示，第一层是HAProxy。每当有对构建的传入请求时，它将首先到达HAProxy。然后，它将决定可以将请求路由到的机器。在此，其中一个主机将处于主动状态以服务于请求，而另一个主机将处于被动状态。只要活动主服务器出现问题并且故障，其他主服务器将变为活动状态，并且请求将恢复。然后，这些请求将由已激活的主机服务。HA代理主要通过在主动和被动链接上称为心跳的令牌与节点进行通信。

第二层是Jenkins主设备设置，其中两个主设备具有相同的配置，并共享JenkinsHome以实现高可用性。因此，一旦重新加载配置，在一个Jenkins主机上创建的项目也将可用于第二个主机。要在第二个主服务器上重新加载配置，请在Jenkins URL的末尾键入“ / reload”，然后按Enter键。

例如，http://myjenkinsserver.com:8080/reload将重新加载配置，而无需重新启动。

第三层是AWS上的EFS挂载点，它通过VPC与两个Jenkins主机共享。它是一种网络文件系统，可以在单个VPC上进行配置，并且可以与该VPC中的多个子网共享。（注意这里我采用的NFS）

4

详细技术实施方案

本次实验采用3台主机，操作系统为CentOS8，每台4G内存。防火墙暂时关闭。

主机信息

192.168.1.100 HA192.168.1.102 Jenkins01192.168.1.103 Jenkins02

部署NFS服务

这里我们需要在1.103 机器部署NFS，并配置为103和102 挂载。

#安装软件yum -y install nfs-utils
#创建共享目录 mkdir /dataecho "/data 192.168.1.0/24(rw)" >/etc/exportsexportfs -rexportfs -v
#启动nfs服务systemctl start nfs-serversystemctl enable nfs-server
#创建挂载点并挂载mkdir /var/lib/datamount -t nfs 192.168.1.103:/data /var/lib/data

参考文档：https://ywnz.com/linuxyffq/5186.html

部署Jenkins服务

只需要在102部署Jenkins并完成初始化配置，然后第二台服务器直接指向相同的JENKINS_HOME并启动即可。

#安装JDK#下载Jenkins包https://mirrors.tuna.tsinghua.edu.cn/jenkins/#指定JENKINS_HOMEexport JENKINS_HOME=/var/lib/data/jenkins#启动服务nohup java -jar jenkins-2.190.2.war -Djenkins.slaves.DefaultJnlpSlaveReceiver.disableStrictVerification=true --httpPort=8080 &

注意配置，如下：

配置固定的agent端口和协议

部署HAProxy

haproxy的部署包需要翻墙哦

#编译安装tar zxf haproxy-2.0.8.tar.gz cd haproxy-2.0.8make TARGET=linux-glibc PREFIX=/usr/local/haproxymake install PREFIX=/usr/local/haproxycp ./examples/haproxy.init /etc/init.d/haproxychmod 755 /etc/init.d/haproxyuseradd -r haproxymkdir /etc/haproxy

#生成配置文件/etc/haproxy/haproxy.cfgglobal    maxconn         20000 ulimit-n 16384    log             127.0.0.1 local0    uid             200    node            http    gid             200    chroot          /var/empty nbproc 4    daemonlisten admin_stats               #开启haproxy监控界面    bind *:8001                  #绑定8001端口 mode http option httplog    stats enable                 #开启统计 stats refresh 5s    stats uri /haproxy?stats    #监控界面url为：http://ip:80/haproxy/stats stats auth admin:123456 stats realm welcome Haproxy    stats admin if TRUE
listen jenkins_agent mode tcp bind *:8181 balance roundrobin server jenkins01 192.168.1.102:8181 weight 1 maxconn 10000 check inter 1s server jenkins02 192.168.1.103:8181 weight 1 maxconn 10000 check inter 1s
frontend jenkins_proxy bind *:80    log             global    option          redispatch    option          forwardfor    option          http-server-close    maxconn         8000    timeout client  30s default_backend jenkins_proxy    reqadd X-Forwarded-Proto: http    backend jenkins_proxy balance roundrobin option httpchk GET /login server jenkins1 192.168.1.102:8080 check inter 1000 rise 1 fall 1 weight 30  server jenkins2 192.168.1.103:8080 check inter 1000 rise 1 fall 1 weight 30
#启动服务systemctl start haproxy
#默认haproxy日志没有生成文件，更改rsyslog配置# /etc/rsyslog.d/haproxy.conf $ModLoad imudp$UDPServerRun 514$UDPServerAddress 0.0.0.0local0.* /var/log/haproxy.log
systemctl restart rsyslogsystemctl haproxy

Haproxy 管理后台

http://192.168.1.100:8001/haproxy?stats

5

测试结果

如果jenkins01节点出现问题宕机或者网页访问出现问题，Haproxy会将请求调度到jenkins02节点。但是在切换之前需要先将jenkins02节点做个reload才能使其与jenkins01节点中的数据一致。（所以还是需要有一些手动的操作）。

• 使用Haproxy HTTP代理 可以完成对master节点的健康检查。

• 使用Haproxy TCP代理可以完成Agent节点的自动链接。

        

往期内容推荐

DevOps持续集成