部署流水线搭建小记：DockerJenkinsJava和Couchbase

Posted 2021-04-07 分布式实验室

Jenkins支持创建流水线。它使用一种基于Groovy的流水线领域特定语言（Pipeline DSL）的简单脚。

而这些脚本，通常名字叫Jenkinsfile。它定义了一些根据指定参数执行简单或复杂的任务的步骤。流水线创建好后，可以用来构建代码，或者编排从代码提交到交付过程中所需的工作。

流水线包括步骤（Step），节点（Node）和阶段（Stage）。流水线执行在节点上。节点是Jenkins安装的一部分。流水线通常包含多个阶段。一个阶段包含多个步骤。流水线上手指南（https://jenkins.io/doc/pipeline/）可以查看到更多的内容。

对于我们本文中的应用，其基本的部署流程是这样的：

 

1. 开发者更新工作区

2. Jenkins收到通知

3. Jenkins克隆工作区

4. Jenkins创建一个Docker镜像

5. Jenkins运行测试

6. Jenkins将镜像推到Docker Hub

应用的完整代码放在了GitHub仓库（https://github.com/arun-gupta/docker-jenkins-pipeline）上。

应用位于仓库中的webapp目录。应用会借助Couchbase的Java SDK，使用一个到Couchbase数据库的连接，保存一个简单的JSON文档。应用同时包含一个测试，以验证数据库是否包含持久化的文档。

特别感谢@alexsotob在Jenkins配置上对我的帮助。

让我们开始吧！

下载并安装Jenkins

从jenkins.io下载Jenkins。这里使用的是Jenkins 2.21。

先把Jenkins启动起来：

JENKINS_HOME=~/.jenkins java -jar ~/Downloads/jenkins-2.21.war --httpPort=9090

这条命令指定了Jenkin家目录的路径。家目录下面存放了所有的配置信息。同时指定了Jenkins的监听端口。这里指定的是9090端口。

启动Jenkins会在中终端中看到如下消息：

Jenkins initial setup is required. An admin user has been created and a password generated.
Please use the following password to proceed to installation:

(译文：Jenkins需要初始化的设置。我们已经为你创建好了一个管理员用户生成好了密码。请使用下面密码继续安装。)

3521fbc3d40448efa8942f8e464b2dd9

This may also be found at: /Users/arungupta/.jenkins/secrets/initialAdminPassword

（译文：这个密码的内容同时也可以在`/Users/arungupta/.jenkins/secrets/initialAdminPassword`中找到。）

复制一下终端中显示的密码，这个密码会用来解锁Jenkins。

在浏览器中输入localhost:9090访问Jenkins，然后粘贴密码：

点击Next进入下一步：

创建第一个如图所示的管理员用户：

点击Save and Finish继续。

点击Install suggested plugins：

然后就会安装好一批默认的插件：

（很奇怪Ant和Subversion是默认的插件。）

然后会弹出登陆框：

输入之前创建好的用户名和密码。

最后Jenkins就可以使用了。

不得不说，要安装好一个简单的Jenkins所需要的步骤不少。真的有必要需要这么多步骤才能开始使用Jenkins吗？能不能有一个更简单，更傻瓜，更偷懒的方式来开始使用Jenkins呢？希望能遵守管理优先原则（Convention-over-Configuration）然后提供一个预先配置好的一键安装包。

创建Jenkins作业

让我们在Jenkins中创建一个用来运行流水线的作业。

1. 在Jenkins重启之后，他会显示一个登陆界面。输入之前创建的用户名和密码。这会把你带回到Installing Plugins/Upgrade页面。点击页面左上角的Jenkins图标，可看到主控制面板：
   
   

2. 点击create new job，作业的名字取做docker-jenkins-pipeline，类型选Pipeline。
   
   
   
   点击OK按钮。

3. 按照如图所示对流水线进行配置：
   
   
   
   这里我们使用了本地的仓库。你当然也可以选择托管在Github上的仓库。另外，这个仓库可以配置一个git钩子或者定时的轮询器来触发流水线的运行。点击Save按钮来保存配置。 

让Jenkins进行构建

在启动这个作业之前，Couchbase数据库需要显式地进行启动：

docker run -d --name db -p 8091-8093:8091-8093 -p 11210:11210 arungupta/oreilly-couchbase:latest

这个问题会在编号9的问题（https://github.com/arun-gupta/docker-jenkins-pipeline/issues/9）修复之后得以解决。确保你可以使用用户名Administrator和密码password，通过 http://localhost:8091 来访问Couchbase。点击Data Bucket标签页可以看到创建的名为books的Bucket。

点击Build Now你应该看见下图类似的输出：

看起来一切正常。

让我们来试着理解下背后发生了什么。

Jenkinsfile描述了流水线是如何构建的。从整体看它有四个阶段 – 打包、创建Docker镜像、运行应用和运行测试。每一个阶段在Jenkins的控制面板都是以一个方框显示的。每一个阶段花费的总体时间显示在每一个方框中间。

然后我们试着理解每一个阶段都做了什么事情。

打包：应用的的源码位于webapp目录下。而这一条Maven命令：

mvn clean package -DskipTests

用来创建应用的JAR包。注意Maven项目也包含测试，但是这里被故意通过-DskipTests忽略了。

通常，测试会分开放在一个下游的项目中（https://github.com/arun-gupta/docker-jenkins-pipeline/issues/7）。Maven项目创建一个应用的Fat JAR（译者注：Fat JAR是把项目所有类文件、资源文件和依赖打包在一起的JAR）文件并且包含所有的依赖。

创建Docker镜像：应用的Docker镜像是使用webapp目录下的Dockerfile来构建的。这个镜像仅仅包含一个Fat JAR，可以通过java -jar来运行。

每一个镜像都使用构建编号打上了标签：

${env.BUILD_NUMBER}

docker inspect

数据库容器和应用容器同时运行在默认的bridge网络中。这可以让两个容器来互相沟通。也可以在swarm模式的集群中运行流水线，这需要创建并且使用覆盖网络。

运行测试：测试可以使用如下命令来进行：

mvn test

如果测试通过，镜像会被推送到Docker Hub。不管测试是否成功，运行结构都能捕获到。同时我们显示了try/catch/finally块在Jenkinsfile中的使用。如果测试通过了，那镜像就会推送到Docker Hub中。在我们这个例子中，它被推送到了这里（https://hub.docker.com/r/arungupta/docker-jenkins-pipeline/tags/）。

待办事项

• 把测试移到一个下游的项目中

• 使用Git钩子或者轮询来触发流水线

• 自动化数据库的启动与停止

• 用Swarm模式下的Docker引擎集群来运行流水线

• 增加额外的配置来将镜像推送到bintray

• 另外一个痛点找不到关于全局变量语法的文档。只有在<JENKINS-HOST>:<JENKINS-PORT>/job/docker-jenkins-pipeline/pipeline-syntax/globals能找到相关内容。这一点点戳。

• “不是不可能，只是还没有实现（https://twitter.com/agentdero/status/773987834982076416）” #sadpanda

推荐一个培训

【Docker 实战培训 | 广州站】培训内容涉及Docker、容器存储、容器网络、监控、DevOps、微服务，老司机带你去学习，点击下面图片即可查看具体培训内容。

点击阅读原文链接可直接报名。