DevOps系列——Jenkins/Gitlab自动打包部署

Posted xxbiao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了DevOps系列——Jenkins/Gitlab自动打包部署相关的知识,希望对你有一定的参考价值。

前面只说了DevOps的两个基础组件Jenkins和GitLab,客官也不要着急,我们玩就玩的深入一点,Gitlab和Jenkins的各种配置和

插件很多,也够啃一阵子的,不要照着操作一通就感觉万事大吉了,多做些边缘测试,多玩点不一样的操作,那今天我们来点

实战整合加强训练。

作者原创文章,谢绝一切转载,违者必究!

准备:

VMwareWorkstation15Pro/RHEL8.0/Jenkins2.222.3/Gitlab-ee-13.0.0

难度: 新手--战士--老兵--大师

说明:

为了遇见各种问题,同时保持时效性,我尽量使用最新的软件版本。源码地址,其中的day30:https://github.com/xiexiaobiao/dubbo-project

目标:

  1. window主机提交代码到Gitlab主机,Jenkins自动完成jar打包,并发布到Gitlab主机(可为任意主机)上运行。

1 架构

整体部署架构:

技术图片

2 环境

2.1开发Java应用,一个极简的服务,可打包为jar运行:

package com.biao.study;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@SpringBootApplication
@RestController
public class AppMain {
    public static void main(String[] args) {
        SpringApplication.run(AppMain.class,args);
        System.out.println("AppMain app started >>>>>>>>>>>>");
    }

    @RequestMapping("/jenkins/{name}")
    public String hello(@PathVariable(name = "name") String name){
        System.out.println("Variable: "+ name);
        return "hello, " + name;
    }
}
 

运行测试,GET http://localhost:8081/jenkins/biao 输出:hello, biao

2.2 GitLab主机上建立一个项目,操作步骤,略!注意看下项目的两个git地址,显示的端口号是Gitlab的端口号,不是nginx的:

技术图片

2.3 配置Jenkins主机到Gitlab主机的SSH,(配置window到Gitlab主机的SSH,也是一样,window在CMD 下执行):

[root@server224 docker-deploy]#ssh-keygen #生成密钥对
[root@server224 docker-deploy]#ssh-copy-id root@192.168.2.226 #发送公钥

Window下使用git测试ssh安装:

技术图片

2.4 Jenkins主机上测试使用SSH协议连接GitLab,这样Git可以免密连接,并使用SSH连接执行shell,

进入新建的空白目录 /usr/hellojenkins 下:

[root@server224 hellojenkins]# ssh -T git@192.168.2.226  #测试ssh
[root@server224 hellojenkins]# git init  #初始化本地git库,否则报错not a git repository
[root@server224 hellojenkins]# git remote –v  # -verbose查看远程gitlab url
[root@server224 hellojenkins]# git remote add origin git@192.168.2.226:biao/hellojenkins.git
[root@server224 hellojenkins]# git pull origin master

如下,可见连接成功,其他git操作客官请随意:

技术图片

2.5 Jenkins主机上测试使用HTTP协议连接GitLab,在 /usr/hellojenkins 下:

[root@server224 hellojenkins]# rm -rf ./* #清空hellojenkins目录,.git和 .idea也要删除
[root@server224 hellojenkins]# git init 
[root@server224 hellojenkins]# git remote -v
[root@server224 hellojenkins]# git remote add origin http://192.168.2.226:9099/biao/hellojenkins.git  #注意url,不是gitlabUI中给的项目url,因有Nginx代理
[root@server224 hellojenkins]# git pull origin master

如下,可见http连接成功,其他git操作客官请随意

技术图片

特别注意:如开启了Nginx代理,会导致gitlab UI中给的项目url (见图1),在git中无法使用,应使用Nginx的端口号!

2.6 访问JenkinsUI,添加 ”Publish Over SSH” 插件(见前文:Jenkins安装),并在 ”系统管理-系统配置” 添加SSH目标主机 (比如我这是192.168.2.226):

技术图片

要点: 1.SSH主机登录密码和私钥key,可以二选一,推荐使用私钥key,这样可以使用相同的私钥key登录多个目标主机。

2.使用私钥key测试不通过,可能是格式问题,见后文问题部分。

3.RemoteDirectory为SSH连接后要访问的目录 4.Test必须显示为Success才算配置成功

2.7 其他工具配置:Jenkins主机需先安装好Maven,Git,JDK,略!并在 “系统管理—>全局工具配置”中做对应的配置:

技术图片

3 任务构建

3.1 我们来个Jenkins自动构建的实验:新建一个任务,选择”构建一个自由风格的软件项目”:

General中我全空,懒得写了。

源码管理使用Git,(也可使用Subversion,需对应的插件),并选择前面配置好的”凭证”:

技术图片

自动构建触发的条件是 push 事件:

技术图片

构建前清空工作目录:

技术图片

构建时执行的shell脚本,source /etc/profile 不能省,可能导致mvn命令无法识别,cd $JENKINS_HOME/workspace/hellojenkins,使用环境变量来进入工作目录,

也可使用 $WORKSPACE/hellojenkins 效果一样,有个环境变量列表链接,可供参考;mvn clean package 即 maven 编译打包命令,内存不足的话可先只测试 mvn clean

技术图片

构建后操作:1 source files是待发送的源文件,这里特别注意要写相对路径target/*.jar,不是绝对路径/var/lib/jenkins/workspace/hellojenkins/target/*.jar

2 remove prefix是需要去掉的前缀,置空则将文件和路径一起发送,并在远程主机建立对应目录结构;

3 remote directory是远程主机的目录,发送的文件将保存至此;

4 执行的shell脚本,会在文件发送后执行,先可直接简化为如下建立一个日期文件(最常见的是停止旧jar的运行,并运行新的jar,完整版见后面的脚本);如果需要文件发送前执行,可以添加两个"构建后操作",并将shell脚本执行放前,文件transfer放后:

技术图片

附,完整Exec comand脚本:

#!/bin/bash
pid=$(ps -ef | grep HelloJenkins-1.0-SNAPSHOT | grep java | grep -v grep | awk {print $2})
if [ -z "$pid" ]; then
    echo there are no HelloJenkins process. starting will be continue.
fi
if [ -n "$pid" ]; then
    echo java process id is $pid
    if ps -p $pid > /dev/null
    then
        echo $pid will be kill
        kill -9 $pid
    fi
fi
echo start HelloJenkins wait.
nohup java -jar HelloJenkins-1.0-SNAPSHOT.jar  > /dev/null 2>error.log &
echo finish starting HelloJenkins
 

3.2 进行 ”立即构建” 测试:

技术图片

3.3 等待构建完毕查看控制台日志,或左侧”构建执行状态”查看正在进行的Job:

技术图片

控制台内容:

技术图片

以上步骤解析:1 Jenkins生成对应的工作目录,注意 /var/lib/jenkins 对应 JENKINS_HOME 变量,即Jenkins家目录;

2对应配置选项Delete workspace before build starts,构建前删除; 3使用SSH连接远程Gitlab代码库; 4 Git操作完毕后的消息,可用于记录本次构建;

5可以看到Jenkins将构建的配置和构建流程共同生成了一个临时的Shell脚本,然后执行,这也是Jenkins的工作原理之一。

总结:这里的Jenkins自动构建流程是使用Git从远程库clone到本地,然后本地构建,同时部分流程和配置会组合生成一个临时的Shell脚本来执行,最终完成整个构建工作流程。(Jenkins还有其他构建方式)。

技术图片

以上步骤解析:1对应执行”构建”配置中shell命令mvn clean package的结果; 2-5是对应”构建后操作” 中的配置,其中2是开始SSH连接,

3是开始执行”Exec command”中的shell命令,4断开SSH连接,5文件传输的结果

以下为server226上对应”构建后操作”中的结果,生成的文件和传输过来的jar包:

技术图片

4 题外话

4.1 我上传的代码中还包含了 Dockerfile 和自动打包/部署Docker镜像的shell脚本,内容太多,各位看官可以尝试一下:使用Jenkins自动构建

并生成镜像和部署运行,有空我就后期再说吧,一次写太多看的也累。

4.2 Gitlab的WebHook功能:在Gitlab收到push事件后,可以 POST 发送定制的信息至指定的URL,从而触发更新。比如SpringCloud的config

配置自动更新,当GitHub上的配置文件更新后,WebHook自动触发Refresh 到Config Server 上,而完成配置自动刷新。

5 问题

5.1 添加SSH服务器时,test失败,提示:

Failed to connect or change directory jenkins.plugins.publish_over.BapPublisherException: Failed to add SSH key. Message [invalid privatekey: [B@d8d395a]

这是因为私钥格式Jenkins无法识别,如果打开私钥文件,"-----BEGIN OPENSSH PRIVATE KEY-----" 表示使用的是最新的OpenSSH格式,需要使用旧版格式,重新生成密钥,命令如下:

ssh-keygen -t rsa -b 4096 -m PEM

再打开私钥文件,可见私钥文件内容开头:”-----BEGIN RSA PRIVATE KEY-----”,

5.2 运行自动生成镜像脚本错误提示$‘ ‘ command not found

技术图片

这种错误是因为编写的 shell脚本是在window下编写的,每行结尾是 ,而 Unix 结束行是 , 所以在Linux下运行脚本会认为 是一个字符,需要把文件转换下:

[root@server224 docker-deploy]# sed -i ‘s/
//‘ auto-image.sh

5.3 错误提示:Does not have a commit checked out,这是因为当前目录下存在没有提交的目录,首先使用 pwd (present working directory)命令查看当前目录,

需保持 .init命令和 pwd 命令目录一致:

技术图片

5.4 提示 http/https协议不支持,可能原因是url错误,或者没添加远程地址,初始化没完成,即git remote add命令:

技术图片

5.5 打包编译时,内存不足,看控制台输出,我将Jenkins主机由6G调整为8G才解决,还好我的小电脑内存足够大:

技术图片

总结:控制台输出是个非常有用的记录,比如我之前的构建失败记录,可以看到无法识别 mvn 命令,于是知道是maven未配置好!

技术图片

全文完!


我近期其他文章:

只写原创,敬请关注

技术图片

以上是关于DevOps系列——Jenkins/Gitlab自动打包部署的主要内容,如果未能解决你的问题,请参考以下文章

使用Docker+Jenkins+Gitlab+MySQL+Nginx自建一套devops系统

DevOps 持续集成 - Jenkins + Gitlab | 环境部署 | 性能优化 | 报错排查

DevOps 持续集成 - Jenkins + Gitlab | 环境部署 | 性能优化 | 报错排查

devops===》Jenkins+gitlab自动化测试并邮件通知报告

devops===》Jenkins+gitlab自动化测试并邮件通知报告

devops===》Jenkins+gitlab自动化测试并邮件通知报告