linux12Devops --＞ 09Pipeline简介

Posted 2021-09-07 FikL-09-19

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了linux12Devops --＞ 09Pipeline简介相关的知识，希望对你有一定的参考价值。

文章目录

Pipeline简介
安装Pipeline插件
Pipeline语法快速入门
二、Pipeline Script from SCM的应用
三、常用的构建触发器
四、Git hook自动触发构建
- 安装Gitlab Hook插件
- Jenkins设置自动构建
五、Jenkins的参数化构建
六、配置邮箱服务器发送构建结果

Pipeline简介

1 ）概念

Pipeline，简单来说，就是一套运行在 Jenkins 上的工作流框架，将原来独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程编排和可视化的工作。

2）使用Pipeline有以下好处

代码：Pipeline以代码的形式实现，通常被检入源代码控制，使团队能够编辑，审查和迭代其传送流程。持久：无论是计划内的还是计划外的服务器重启，Pipeline都是可恢复的。可停止：Pipeline可接收交互式输入，以确定是否继续执行Pipeline。多功能：Pipeline支持现实世界中复杂的持续交付要求。它支持fork/join、循环执行，并行执行任务的功能。可扩展：Pipeline插件支持其DSL的自定义扩展，以及与其他插件集成的多个选项。

3）如何创建 Jenkins Pipeline呢？

Pipeline 脚本是由 Groovy 语言实现的，但是我们没必要单独去学习 Groovy
Pipeline 支持两种语法：Declarative(声明式)和 Scripted Pipeline(脚本式)语法
Pipeline 也有两种创建方法：可以直接在 Jenkins 的 Web UI 界面中输入脚本；也可以通过创建一个 Jenkinsfile 脚本文件放入项目源码库中（一般我们都推荐在 Jenkins 中直接从源代码控制(SCM) 中直接载入 Jenkinsfile Pipeline 这种方法）。

安装Pipeline插件

Manage Jenkins->Manage Plugins->可选插件

安装插件后，创建项目的时候多了流水线类型

Pipeline语法快速入门

1）Declarative声明式-Pipeline

创建项目

流水线 ->选择HelloWorld模板

stages ：代表整个流水线的所有执行阶段。通常stages只有1个，里面包含多个stage
stage ：代表流水线中的某个阶段，可能出现n个。一般分为拉取代码，编译构建，部署等阶段。
steps：代表一个阶段内需要执行的逻辑。steps里面是shell脚本，git拉取代码，ssh远程发布等任意内容
编写一个简单声明式Pipeline：

pipeline {
    agent any

    stages {
        stage('pull code') {
            steps {
                echo 'pull code'
            }
        }
           stage('build project') {
            steps {
                echo 'build project'
            }
        }
           stage('push project') {
            steps {
                echo 'push project'
            }
        }
    }
    
}

一、`片段生成器`的应用：

1.拉取代码

片段生成器===checkout: check out from version comtrol

查看控制器的输出

片段生成器的代码：

pipeline {
    agent any

    stages {
        stage('pull code') {
            steps {
             checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '4a1ab058-6e6f-4afa-807f-932818642c5a', url: 'git@10.0.0.60:technology-department/web_demo.git']]])
        }
         
        }
        stage('build project') {
            steps {
            sh 'mvn clean package'
        }
         
        }
    }
}

jenkins查看代码有没有获取过来

[root@jenkins ~]# cd /var/lib/jenkins/workspace/
[root@jenkins workspace]# ll
总用量 0
drwxr-xr-x 4 jenkins jenkins  53 7月  30 18:10 test01
drwxr-xr-x 2 jenkins jenkins   6 7月  30 18:33 test01@tmp
drwxr-xr-x 5 jenkins jenkins 147 7月  31 00:34 test_pipeline
drwxr-xr-x 2 jenkins jenkins   6 7月  31 00:34 test_pipeline@tmp
drwxr-xr-x 5 jenkins jenkins  86 7月  30 21:23 web_maven
drwxr-xr-x 2 jenkins jenkins   6 7月  30 21:22 web_maven@tmp
[root@jenkins workspace]# cd test_pipeline
[root@jenkins test_pipeline]# ll
总用量 20
-rw-r--r-- 1 jenkins jenkins 2705 7月  31 00:32 email.html
-rw-r--r-- 1 jenkins jenkins 1416 7月  31 00:32 Jenkinsfile
-rw-r--r-- 1 jenkins jenkins  625 7月  31 00:32 pom.xml
-rw-r--r-- 1 jenkins jenkins  595 7月  31 00:32 sonar-project.properties
drwxr-xr-x 3 jenkins jenkins   18 7月  31 00:32 src
drwxr-xr-x 6 jenkins jenkins  125 7月  31 00:34 target
-rw-r--r-- 1 jenkins jenkins 1499 7月  31 00:32 web_demo.iml
[root@jenkins test_pipeline]# cd target/
[root@jenkins target]# ll
总用量 100
drwxr-xr-x 3 jenkins jenkins     17 7月  31 00:34 classes
drwxr-xr-x 2 jenkins jenkins     28 7月  31 00:34 maven-archiver
drwxr-xr-x 3 jenkins jenkins     35 7月  31 00:34 maven-status
drwxr-xr-x 4 jenkins jenkins     54 7月  31 00:34 web_demo-1.0-SNAPSHOT
-rw-r--r-- 1 jenkins jenkins 101667 7月  31 00:34 web_demo-1.0-SNAPSHOT.war
[root@jenkins target]#

2.构建

片段生成器===sh: shell script

片段生成器pipeline的代码：

pipeline {
    agent any

    stages {
        stage('pull code') {
            steps {
             checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '4a1ab058-6e6f-4afa-807f-932818642c5a', url: 'git@10.0.0.60:technology-department/web_demo.git']]])
        }
         
        }
        stage('build project') {
            steps {
            sh 'mvn clean package'
        }
         
        }
    }
}

部署

片段生成器====deploy ：deploy war/ear to a container

片段生成器pipeline的代码：

pipeline {
    agent any

    stages {
        stage('pull code') {
            steps {
             checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '4a1ab058-6e6f-4afa-807f-932818642c5a', url: 'git@10.0.0.60:technology-department/web_demo.git']]])
        }
         
        }
        stage('build project') {
            steps {
            sh 'mvn clean package'
        }
         
        }
         stage('publish project') {
            steps {
       deploy adapters: [tomcat9(credentialsId: '21a21ae6-b9a0-4b88-848f-40cde04a19c4', path: '', url: 'http://10.0.0.70:8080/')], contextPath: null, war: 'target/*.war'
        }
         
        }
    }
}

jenkins查看代码有没有获取过来



```
[root@jenkins ~]# cd /var/lib/jenkins/workspace/
[root@jenkins workspace]# ll
总用量 0
drwxr-xr-x 4 jenkins jenkins  53 7月  30 18:10 test01
drwxr-xr-x 2 jenkins jenkins   6 7月  30 18:33 test01@tmp
drwxr-xr-x 5 jenkins jenkins 147 7月  31 00:34 test_pipeline
drwxr-xr-x 2 jenkins jenkins   6 7月  31 00:34 test_pipeline@tmp
drwxr-xr-x 5 jenkins jenkins  86 7月  30 21:23 web_maven
drwxr-xr-x 2 jenkins jenkins   6 7月  30 21:22 web_maven@tmp
[root@jenkins workspace]# cd test_pipeline
[root@jenkins test_pipeline]# ll
总用量 20
-rw-r--r-- 1 jenkins jenkins 2705 7月  31 00:32 email.html
-rw-r--r-- 1 jenkins jenkins 1416 7月  31 00:32 Jenkinsfile
-rw-r--r-- 1 jenkins jenkins  625 7月  31 00:32 pom.xml
-rw-r--r-- 1 jenkins jenkins  595 7月  31 00:32 sonar-project.properties
drwxr-xr-x 3 jenkins jenkins   18 7月  31 00:32 src
drwxr-xr-x 6 jenkins jenkins  125 7月  31 00:34 target
-rw-r--r-- 1 jenkins jenkins 1499 7月  31 00:32 web_demo.iml
[root@jenkins test_pipeline]# cd target/
[root@jenkins target]# ll
总用量 100
drwxr-xr-x 3 jenkins jenkins     17 7月  31 00:34 classes
drwxr-xr-x 2 jenkins jenkins     28 7月  31 00:34 maven-archiver
drwxr-xr-x 3 jenkins jenkins     35 7月  31 00:34 maven-status
drwxr-xr-x 4 jenkins jenkins     54 7月  31 00:34 web_demo-1.0-SNAPSHOT
-rw-r--r-- 1 jenkins jenkins 101667 7月  31 00:34 web_demo-1.0-SNAPSHOT.war
[root@jenkins target]#

注意：

点击流水线语法==Declarative Directive Generator：代表的是声明式脚本的生成器
可以查看pipeline的官网：https://www.jenkins.io/doc/book/pipeline/syntax/
pipeline官网

JenkinsfileJenkinsfile

二、Pipeline Script from SCM的应用

刚才我们都是直接在Jenkins的UI界面编写Pipeline代码，这样不方便脚本维护，建议把Pipeline脚本放
在项目中（一起进行版本控制）
1）在项目根目录建立Jenkinsfile文件，把内容复制到该文件中

[root@gitlab web_demo]# cat Jenkinsfile 
pipeline {
    agent any

    stages {
        stage('pull code') {
            steps {
             checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '4a1ab058-6e6f-4afa-807f-932818642c5a', url: 'git@10.0.0.60:technology-department/web_demo.git']]])
        }
         
        }
        stage('build project') {
            steps {
            sh 'mvn clean package'
        }
         
        }
         stage('publish project') {
            steps {
       deploy adapters: [tomcat9(credentialsId: '21a21ae6-b9a0-4b88-848f-40cde04a19c4', path: '', url: 'http://10.0.0.70:8080/')], contextPath: null, war: 'target/*.war'
        }
         
        }
    }
}

把 Jenkinsfile上传到Gitlab
2）在项目中引用该文件

三、常用的构建触发器

Jenkins内置4种构建触发器：

触发远程构建
其他工程构建后触发（ Build after other projects are build）
定时构建（ Build periodically）
轮询 SCM（Poll SCM）

触发远程构建

触发构建 url：http://10.0.0.80:8080/job/test_pipeline/build?token=6666

注意：拿着这个触发构建的URL去浏览器访问会发现在jenkins原来的服务上重新构建一个新的项目。

其他工程构建后触发

1）创建pre_job流水线工程

2 ）配置需要触发的工程

注意：看见的效果就是一个pre_job构建完成后，test_pipeline才开始构建。

定时构建

定时字符串从左往右分别为：分时日月周
一些定时表达式的例子：
每30分钟构建一次：H代表形参 H/30 * * * * 10:02 10:32
每2个小时构建一次: H H/2 * * *
每天的8点，12点，22点，一天构建3次： (多个时间点中间用逗号隔开) 0 8,12,22 * * *
每天中午12点定时构建一次 H 12 * * *
每天下午18点定时构建一次 H 18 * * *
在每个小时的前半个小时内的每10分钟 H(0-29)/10 * * * *
每两小时一次，每个工作日上午9点到下午5点(也许是上午10:38，下午12:38，下午2:38，下午
4:38) H H(9-16)/2 * * 1-5

轮询SCM

轮询SCM，是指定时扫描本地代码仓库的代码是否有变更，如果代码有变更就触发项目构建。

注意：这次构建触发器， Jenkins会定时扫描本地整个项目的代码，增大系统的开销，不建议使用。

四、Git hook自动触发构建

刚才我们看到在Jenkins的内置构建触发器中，轮询SCM可以实现Gitlab代码更新，项目自动构建，但是该方案的性能不佳。那有没有更好的方案呢？有的。就是利用Gitlab的webhook实现代码push到仓库，立即触发项目自动构建。

安装Gitlab Hook插件

需要安装两个插件：
Gitlab Hook和GitLab

Jenkins设置自动构建

等会需要把生成的 webhook URL配置到Gitlab中。

1）开启webhook功能
使用root账户登录到后台，点击Admin Area -> Settings -> Network
勾选"Allow requests to the local network from web hooks and services"

2 ）在项目添加webhook
点击项目->Settings->Integrations

注意：以下设置必须完成，否则会报错！
Manage Jenkins->Configure System

测试：修改webapps下的文件index.jsp
只要你我们一push代码，gitlab的webhook就会向jenkins发请求。

五、Jenkins的参数化构建

有时在项目构建的过程中，我们需要根据用户的输入动态传入一些参数，从而影响整个构建结果，这时
我们可以使用参数化构建。
Jenkins支持非常丰富的参数类型

接下来演示通过输入 gitlab项目的分支名称来部署不同分支项目。

项目创建分支，并推送到Gitlab上

构建：

输入分支名称，构建即可！构建完成后访问 Tomcat查看结果

新建分支：v1_stable，代码稍微改动下，然后提交到gitlab上。

改动 pipeline流水线代码

点击 Build with Parameters

jenkins参数化构建

六、配置邮箱服务器发送构建结果

安装Email Extension插件

Jenkins设置邮箱相关参数

Manage Jenkins->Configure System

设置邮件参数

设置Jenkins默认邮箱信息

准备邮件内容

在项目根目录编写email.html，并把文件推送到Gitlab，内容如下：

<!DOCTYPE html>
<html>
<head>
    <meta charset="UTF-8">
    <title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志</title>
</head>

<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4"
      offset="0">
<table width="95%" cellpadding="0" cellspacing="0"
       style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">
    <tr>
        <td>(本邮件是程序自动下发的，请勿回复！)</td>
    </tr>
    <tr>
        <td><h2>
            <font color="#0000FF">构建结果 - ${BUILD_STATUS}</font>
        </h2></td>
    </tr>
    <tr>
        <td><br />
            <b><font color="#0B610B">构建信息</font></b>
            <hr size="2" width="100%" align="center" /></td>
    </tr>
    <tr>
        <td>
            <ul>
                <li>项目名称&nbsp;：&nbsp;${PROJECT_NAME}</li>
                <li>构建编号&nbsp;：&nbsp;第${BUILD_NUMBER}次构建</li>
                <li>触发原因：&nbsp;${CAUSE}</li>
                <li>构建日志：&nbsp;<a href="${BUILD_URL}console">${BUILD_URL}console</a></li>
                <li>构建&nbsp;&nbsp;Url&nbsp;：&nbsp;<a href="${BUILD_URL}">${BUILD_URL}</a></li>
                <li>工作目录&nbsp;：&nbsp;<a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>
                <li>项目&nbsp;&nbsp;Url&nbsp;：&nbsp;<a href="${PROJECT_URL}">${PROJECT_URL}</a></li>
            </ul>
        </td>
    </tr>
    <tr>
        <td><b><font color="#0B610B">Changes Since Last
            Successful Build:</font></b>
            <hr size="2" width="100%" align="center" /></td>
    </tr>
    <tr>
        <td>
            <ul>
                <li>历史变更记录 : <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a></li>
            </ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat="&nbsp;&nbsp;&nbsp;&nbsp;%p"}
        </td>
    </tr>
    <tr>
        <td><b>Failed Test Results</b>
            <hr size="2" width="100%" align="center" /></td>
    </tr>
    <tr>
        <td><pre
                style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre>
            <br /></td>
    </tr>
    <tr>
        <td><b><font color="#0B610B">构建日志 (最后 100行):</font></b>
            <hr size="2" width="100%" align="center" /></td>
    </tr>
    <tr>
        <td><textarea cols="80" rows="30" readonly="readonly"
                      style="font-family: Courier New">${BUILD_LOG, maxLines=100}</textarea>
        </td>
    </tr>
</table>
</body>
</html>

编写Jenkinsfile添加构建后发送邮件

pipeline {
   agent any

   stages {
      stage('pull code') {
         steps {
            checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: 'b632ed00-fc81-43c8-a746-5aa0673b2658', url: 'git@192.168.66.100:itheima_group/web_demo.git']]])
         }
      }
      stage('code checking') {
         steps {

            script {
                 //引入SonarQubeScanner工具
                scannerHome = tool 'sonar-scanner'
            }
            //引入SonarQube的服务器环境
            withSonarQubeEnv('sonarqube') {
                sh "${scannerHome}/bin/sonar-scanner"
            }
         }
      }
      stage('build project') {
         steps {
            sh 'mvn clean package'
         }
      }
      stage('publish project') {
         steps {
            deploy adapters: [tomcat8(credentialsId: 'fc23e5b7-9930-4dfb-af66-a2a576be52fb', path: '', url: 'http://192.168.66.102:8080')], contextPath: null, war: 'target/*.war'
         }
      }
   }
   post {
         always {
            emailext(
               subject: '构建通知：${PROJECT_NAME} - Build # ${BUILD_NUMBER} - ${BUILD_STATUS}!',
               body: '${FILE,path="email.html"}',
               to: '1014671449@qq.com'
            )
         }
   }
}

测试

PS：邮件相关全局参数参考列表：
系统设置->Extended E-mail Notification->Content Token Reference，点击旁边的?号

以上是关于linux12Devops --＞ 09Pipeline简介的主要内容，如果未能解决你的问题，请参考以下文章

linux12Devops --＞07jenkins部署python

linux12Devops --＞06Jenkins部署tomcat

linux12Devops --＞ 01软件开发生命周期持续集成代码管理工具Git

linux12Devops --＞08jenkins部署Golang

linux12Devops --＞05 Jenkins部署php实战

linux12Devops --＞10Jenkins流水线容器化+Harbor私有仓库