DevOps系列——Jenkins/Gitlab自动打包部署

Posted 2020-12-09 xxbiao

前面只说了DevOps的两个基础组件Jenkins和GitLab，客官也不要着急，我们玩就玩的深入一点，Gitlab和Jenkins的各种配置和

插件很多，也够啃一阵子的，不要照着操作一通就感觉万事大吉了，多做些边缘测试，多玩点不一样的操作，那今天我们来点

实战整合加强训练。

作者原创文章，谢绝一切转载，违者必究！

准备：

VMwareWorkstation15Pro/RHEL8.0/Jenkins2.222.3/Gitlab-ee-13.0.0

难度： 新手--战士--老兵--大师

说明：

为了遇见各种问题，同时保持时效性，我尽量使用最新的软件版本。源码地址，其中的day30：https://github.com/xiexiaobiao/dubbo-project

目标：

1. window主机提交代码到Gitlab主机，Jenkins自动完成jar打包，并发布到Gitlab主机(可为任意主机)上运行。

1 架构

整体部署架构：

2 环境

2.1开发Java应用，一个极简的服务，可打包为jar运行：

package com.biao.study;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@SpringBootApplication
@RestController
public class AppMain {
    public static void main(String[] args) {
        SpringApplication.run(AppMain.class,args);
        System.out.println("AppMain app started >>>>>>>>>>>>");
    }

    @RequestMapping("/jenkins/{name}")
    public String hello(@PathVariable(name = "name") String name){
        System.out.println("Variable： "+ name);
        return "hello, " + name;
    }
}

运行测试，GET http://localhost:8081/jenkins/biao 输出：hello, biao

2.2 GitLab主机上建立一个项目，操作步骤，略！注意看下项目的两个git地址，显示的端口号是Gitlab的端口号，不是nginx的：

2.3 配置Jenkins主机到Gitlab主机的SSH，(配置window到Gitlab主机的SSH，也是一样，window在CMD 下执行)：

[root@server224 docker-deploy]#ssh-keygen #生成密钥对
[root@server224 docker-deploy]#ssh-copy-id root@192.168.2.226 #发送公钥

Window下使用git测试ssh安装：

2.4 Jenkins主机上测试使用SSH协议连接GitLab，这样Git可以免密连接，并使用SSH连接执行shell，

进入新建的空白目录 /usr/hellojenkins 下：

[root@server224 hellojenkins]# ssh -T git@192.168.2.226  #测试ssh
[root@server224 hellojenkins]# git init  #初始化本地git库，否则报错not a git repository
[root@server224 hellojenkins]# git remote –v  # -verbose查看远程gitlab url
[root@server224 hellojenkins]# git remote add origin git@192.168.2.226:biao/hellojenkins.git
[root@server224 hellojenkins]# git pull origin master

如下，可见连接成功，其他git操作客官请随意：

2.5 Jenkins主机上测试使用HTTP协议连接GitLab，在 /usr/hellojenkins 下：

[root@server224 hellojenkins]# rm -rf ./* #清空hellojenkins目录，.git和 .idea也要删除
[root@server224 hellojenkins]# git init 
[root@server224 hellojenkins]# git remote -v
[root@server224 hellojenkins]# git remote add origin http://192.168.2.226:9099/biao/hellojenkins.git  #注意url，不是gitlabUI中给的项目url，因有Nginx代理
[root@server224 hellojenkins]# git pull origin master

如下，可见http连接成功，其他git操作客官请随意

特别注意：如开启了Nginx代理，会导致gitlab UI中给的项目url (见图1)，在git中无法使用，应使用Nginx的端口号！

2.6 访问JenkinsUI，添加 ”Publish Over SSH” 插件(见前文：Jenkins安装)，并在 ”系统管理-系统配置” 添加SSH目标主机 (比如我这是192.168.2.226):

要点： 1.SSH主机登录密码和私钥key，可以二选一，推荐使用私钥key，这样可以使用相同的私钥key登录多个目标主机。

2.使用私钥key测试不通过，可能是格式问题，见后文问题部分。

3.RemoteDirectory为SSH连接后要访问的目录 4.Test必须显示为Success才算配置成功

2.7 其他工具配置：Jenkins主机需先安装好Maven，Git，JDK，略！并在 “系统管理—>全局工具配置”中做对应的配置：

3 任务构建

3.1 我们来个Jenkins自动构建的实验：新建一个任务，选择”构建一个自由风格的软件项目”：

General中我全空，懒得写了。

源码管理使用Git，(也可使用Subversion，需对应的插件)，并选择前面配置好的”凭证”：

自动构建触发的条件是 push 事件：

构建前清空工作目录：

构建时执行的shell脚本，source /etc/profile 不能省，可能导致mvn命令无法识别，cd $JENKINS_HOME/workspace/hellojenkins，使用环境变量来进入工作目录，

也可使用 $WORKSPACE/hellojenkins 效果一样，有个环境变量列表链接，可供参考；mvn clean package 即 maven 编译打包命令，内存不足的话可先只测试 mvn clean：

构建后操作：1 source files是待发送的源文件，这里特别注意要写相对路径target/*.jar，不是绝对路径/var/lib/jenkins/workspace/hellojenkins/target/*.jar；

2 remove prefix是需要去掉的前缀，置空则将文件和路径一起发送，并在远程主机建立对应目录结构；

3 remote directory是远程主机的目录，发送的文件将保存至此；

4 执行的shell脚本，会在文件发送后执行，先可直接简化为如下建立一个日期文件(最常见的是停止旧jar的运行，并运行新的jar，完整版见后面的脚本)；如果需要文件发送前执行，可以添加两个"构建后操作"，并将shell脚本执行放前，文件transfer放后：

附，完整Exec comand脚本：

#!/bin/bash
pid=$(ps -ef | grep HelloJenkins-1.0-SNAPSHOT | grep ‘java‘ | grep -v grep | awk ‘{print $2‘})
if [ -z "$pid" ]; then
    echo ‘there are no HelloJenkins process. starting will be continue.‘
fi
if [ -n "$pid" ]; then
    echo ‘java process id is ‘$pid
    if ps -p $pid > /dev/null
    then
        echo $pid‘ will be kill‘
        kill -9 $pid
    fi
fi
echo ‘start HelloJenkins wait.‘
nohup java -jar HelloJenkins-1.0-SNAPSHOT.jar  > /dev/null 2>error.log &
echo ‘finish starting HelloJenkins‘

3.2 进行 ”立即构建” 测试：

3.3 等待构建完毕查看控制台日志，或左侧”构建执行状态”查看正在进行的Job：

控制台内容：

以上步骤解析：1 Jenkins生成对应的工作目录，注意 /var/lib/jenkins 对应 JENKINS_HOME 变量，即Jenkins家目录；

2对应配置选项Delete workspace before build starts，构建前删除； 3使用SSH连接远程Gitlab代码库； 4 Git操作完毕后的消息，可用于记录本次构建；

5可以看到Jenkins将构建的配置和构建流程共同生成了一个临时的Shell脚本，然后执行，这也是Jenkins的工作原理之一。

总结：这里的Jenkins自动构建流程是使用Git从远程库clone到本地，然后本地构建，同时部分流程和配置会组合生成一个临时的Shell脚本来执行，最终完成整个构建工作流程。(Jenkins还有其他构建方式)。

以上步骤解析：1对应执行”构建”配置中shell命令mvn clean package的结果； 2-5是对应”构建后操作” 中的配置，其中2是开始SSH连接，

3是开始执行”Exec command”中的shell命令，4断开SSH连接，5文件传输的结果

以下为server226上对应”构建后操作”中的结果，生成的文件和传输过来的jar包：

4 题外话

4.1 我上传的代码中还包含了 Dockerfile 和自动打包/部署Docker镜像的shell脚本，内容太多，各位看官可以尝试一下：使用Jenkins自动构建

并生成镜像和部署运行，有空我就后期再说吧，一次写太多看的也累。

4.2 Gitlab的WebHook功能：在Gitlab收到push事件后，可以 POST 发送定制的信息至指定的URL，从而触发更新。比如SpringCloud的config

配置自动更新，当GitHub上的配置文件更新后，WebHook自动触发Refresh 到Config Server 上，而完成配置自动刷新。

5 问题

5.1 添加SSH服务器时，test失败，提示：

Failed to connect or change directory jenkins.plugins.publish_over.BapPublisherException: Failed to add SSH key. Message [invalid privatekey: [B@d8d395a]

这是因为私钥格式Jenkins无法识别，如果打开私钥文件，"-----BEGIN OPENSSH PRIVATE KEY-----" 表示使用的是最新的OpenSSH格式，需要使用旧版格式，重新生成密钥，命令如下：

ssh-keygen -t rsa -b 4096 -m PEM

再打开私钥文件，可见私钥文件内容开头：”-----BEGIN RSA PRIVATE KEY-----”，

5.2 运行自动生成镜像脚本错误提示$‘ ‘ command not found：

这种错误是因为编写的 shell脚本是在window下编写的，每行结尾是 ，而 Unix 结束行是 ， 所以在Linux下运行脚本会认为 是一个字符，需要把文件转换下：

[root@server224 docker-deploy]# sed -i ‘s/
//‘ auto-image.sh

5.3 错误提示：Does not have a commit checked out，这是因为当前目录下存在没有提交的目录，首先使用 pwd (present working directory)命令查看当前目录，

需保持 .init命令和 pwd 命令目录一致：

5.4 提示 http/https协议不支持，可能原因是url错误，或者没添加远程地址，初始化没完成，即git remote add命令：

5.5 打包编译时，内存不足，看控制台输出，我将Jenkins主机由6G调整为8G才解决，还好我的小电脑内存足够大：

总结：控制台输出是个非常有用的记录，比如我之前的构建失败记录，可以看到无法识别 mvn 命令，于是知道是maven未配置好！

全文完！

---

我近期其他文章：

• 1 DevOps系列——Jenkins私服
• 2 DevOps系列——Gitlab私服
• 3 聊聊算法——滑动窗口
• 4 聊聊算法——回溯算法
• 5 Redis高级应用

只写原创，敬请关注