linux12Devops --> 09Pipeline简介

Posted FikL-09-19

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了linux12Devops --> 09Pipeline简介相关的知识,希望对你有一定的参考价值。

Pipeline简介

1 )概念

Pipeline,简单来说,就是一套运行在 Jenkins 上的工作流框架,将原来独立运行于单个或者多个节点的任务连接起来,实现单个任务难以完成的复杂流程编排和可视化的工作。

2)使用Pipeline有以下好处

代码:Pipeline以代码的形式实现,通常被检入源代码控制,使团队能够编辑,审查和迭代其传送流程。 持久:无论是计划内的还是计划外的服务器重启,Pipeline都是可恢复的。 可停止:Pipeline可接收交互式输入,以确定是否继续执行Pipeline。 多功能:Pipeline支持现实世界中复杂的持续交付要求。它支持fork/join、循环执行,并行执行任务的功能。 可扩展:Pipeline插件支持其DSL的自定义扩展 ,以及与其他插件集成的多个选项。

3)如何创建 Jenkins Pipeline呢?

  • Pipeline 脚本是由 Groovy 语言实现的,但是我们没必要单独去学习 Groovy
  • Pipeline 支持两种语法:Declarative(声明式)Scripted Pipeline(脚本式)语法
  • Pipeline 也有两种创建方法:可以直接在 Jenkins 的 Web UI 界面中输入脚本;也可以通过创建一个 Jenkinsfile 脚本文件放入项目源码库中(一般我们都推荐在 Jenkins 中直接从源代码控制(SCM) 中直接载入 Jenkinsfile Pipeline 这种方法)。

安装Pipeline插件

  • Manage Jenkins->Manage Plugins->可选插件

  • 安装插件后,创建项目的时候多了流水线类型

Pipeline语法快速入门

1)Declarative声明式-Pipeline

创建项目

  • 流水线 ->选择HelloWorld模板

    stages :代表整个流水线的所有执行阶段。通常stages只有1个,里面包含多个stage
    stage :代表流水线中的某个阶段,可能出现n个。一般分为拉取代码,编译构建,部署等阶段。
    steps:代表一个阶段内需要执行的逻辑。steps里面是shell脚本,git拉取代码,ssh远程发布等任意内容

  • 编写一个简单声明式Pipeline:

pipeline {
    agent any

    stages {
        stage('pull code') {
            steps {
                echo 'pull code'
            }
        }
           stage('build project') {
            steps {
                echo 'build project'
            }
        }
           stage('push project') {
            steps {
                echo 'push project'
            }
        }
    }
    
}

一、片段生成器的应用:

1.拉取代码

片段生成器===checkout: check out from version comtrol

  • 查看控制器的输出
  • 片段生成器的代码:
pipeline {
    agent any

    stages {
        stage('pull code') {
            steps {
             checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '4a1ab058-6e6f-4afa-807f-932818642c5a', url: 'git@10.0.0.60:technology-department/web_demo.git']]])
        }
         
        }
        stage('build project') {
            steps {
            sh 'mvn clean package'
        }
         
        }
    }
}
  • jenkins查看代码有没有获取过来
[root@jenkins ~]# cd /var/lib/jenkins/workspace/
[root@jenkins workspace]# ll
总用量 0
drwxr-xr-x 4 jenkins jenkins  53 7月  30 18:10 test01
drwxr-xr-x 2 jenkins jenkins   6 7月  30 18:33 test01@tmp
drwxr-xr-x 5 jenkins jenkins 147 7月  31 00:34 test_pipeline
drwxr-xr-x 2 jenkins jenkins   6 7月  31 00:34 test_pipeline@tmp
drwxr-xr-x 5 jenkins jenkins  86 7月  30 21:23 web_maven
drwxr-xr-x 2 jenkins jenkins   6 7月  30 21:22 web_maven@tmp
[root@jenkins workspace]# cd test_pipeline
[root@jenkins test_pipeline]# ll
总用量 20
-rw-r--r-- 1 jenkins jenkins 2705 7月  31 00:32 email.html
-rw-r--r-- 1 jenkins jenkins 1416 7月  31 00:32 Jenkinsfile
-rw-r--r-- 1 jenkins jenkins  625 7月  31 00:32 pom.xml
-rw-r--r-- 1 jenkins jenkins  595 7月  31 00:32 sonar-project.properties
drwxr-xr-x 3 jenkins jenkins   18 7月  31 00:32 src
drwxr-xr-x 6 jenkins jenkins  125 7月  31 00:34 target
-rw-r--r-- 1 jenkins jenkins 1499 7月  31 00:32 web_demo.iml
[root@jenkins test_pipeline]# cd target/
[root@jenkins target]# ll
总用量 100
drwxr-xr-x 3 jenkins jenkins     17 7月  31 00:34 classes
drwxr-xr-x 2 jenkins jenkins     28 7月  31 00:34 maven-archiver
drwxr-xr-x 3 jenkins jenkins     35 7月  31 00:34 maven-status
drwxr-xr-x 4 jenkins jenkins     54 7月  31 00:34 web_demo-1.0-SNAPSHOT
-rw-r--r-- 1 jenkins jenkins 101667 7月  31 00:34 web_demo-1.0-SNAPSHOT.war
[root@jenkins target]# 


2.构建

片段生成器===sh: shell script


  • 片段生成器pipeline的代码:
pipeline {
    agent any

    stages {
        stage('pull code') {
            steps {
             checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '4a1ab058-6e6f-4afa-807f-932818642c5a', url: 'git@10.0.0.60:technology-department/web_demo.git']]])
        }
         
        }
        stage('build project') {
            steps {
            sh 'mvn clean package'
        }
         
        }
    }
}

部署

片段生成器====deploy :deploy war/ear to a container


  • 片段生成器pipeline的代码:
pipeline {
    agent any

    stages {
        stage('pull code') {
            steps {
             checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '4a1ab058-6e6f-4afa-807f-932818642c5a', url: 'git@10.0.0.60:technology-department/web_demo.git']]])
        }
         
        }
        stage('build project') {
            steps {
            sh 'mvn clean package'
        }
         
        }
         stage('publish project') {
            steps {
       deploy adapters: [tomcat9(credentialsId: '21a21ae6-b9a0-4b88-848f-40cde04a19c4', path: '', url: 'http://10.0.0.70:8080/')], contextPath: null, war: 'target/*.war'
        }
         
        }
    }
}
  • jenkins查看代码有没有获取过来


​```
[root@jenkins ~]# cd /var/lib/jenkins/workspace/
[root@jenkins workspace]# ll
总用量 0
drwxr-xr-x 4 jenkins jenkins  53 7月  30 18:10 test01
drwxr-xr-x 2 jenkins jenkins   6 7月  30 18:33 test01@tmp
drwxr-xr-x 5 jenkins jenkins 147 7月  31 00:34 test_pipeline
drwxr-xr-x 2 jenkins jenkins   6 7月  31 00:34 test_pipeline@tmp
drwxr-xr-x 5 jenkins jenkins  86 7月  30 21:23 web_maven
drwxr-xr-x 2 jenkins jenkins   6 7月  30 21:22 web_maven@tmp
[root@jenkins workspace]# cd test_pipeline
[root@jenkins test_pipeline]# ll
总用量 20
-rw-r--r-- 1 jenkins jenkins 2705 7月  31 00:32 email.html
-rw-r--r-- 1 jenkins jenkins 1416 7月  31 00:32 Jenkinsfile
-rw-r--r-- 1 jenkins jenkins  625 7月  31 00:32 pom.xml
-rw-r--r-- 1 jenkins jenkins  595 7月  31 00:32 sonar-project.properties
drwxr-xr-x 3 jenkins jenkins   18 7月  31 00:32 src
drwxr-xr-x 6 jenkins jenkins  125 7月  31 00:34 target
-rw-r--r-- 1 jenkins jenkins 1499 7月  31 00:32 web_demo.iml
[root@jenkins test_pipeline]# cd target/
[root@jenkins target]# ll
总用量 100
drwxr-xr-x 3 jenkins jenkins     17 7月  31 00:34 classes
drwxr-xr-x 2 jenkins jenkins     28 7月  31 00:34 maven-archiver
drwxr-xr-x 3 jenkins jenkins     35 7月  31 00:34 maven-status
drwxr-xr-x 4 jenkins jenkins     54 7月  31 00:34 web_demo-1.0-SNAPSHOT
-rw-r--r-- 1 jenkins jenkins 101667 7月  31 00:34 web_demo-1.0-SNAPSHOT.war
[root@jenkins target]# 


注意:

点击流水线语法==Declarative Directive Generator:代表的是声明式脚本的生成器
可以查看pipeline的官网:https://www.jenkins.io/doc/book/pipeline/syntax/
pipeline官网

JenkinsfileJenkinsfile

二、Pipeline Script from SCM的应用

刚才我们都是直接在Jenkins的UI界面编写Pipeline代码,这样不方便脚本维护,建议把Pipeline脚本放
在项目中(一起进行版本控制)
1)在项目根目录建立Jenkinsfile文件,把内容复制到该文件中

[root@gitlab web_demo]# cat Jenkinsfile 
pipeline {
    agent any

    stages {
        stage('pull code') {
            steps {
             checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '4a1ab058-6e6f-4afa-807f-932818642c5a', url: 'git@10.0.0.60:technology-department/web_demo.git']]])
        }
         
        }
        stage('build project') {
            steps {
            sh 'mvn clean package'
        }
         
        }
         stage('publish project') {
            steps {
       deploy adapters: [tomcat9(credentialsId: '21a21ae6-b9a0-4b88-848f-40cde04a19c4', path: '', url: 'http://10.0.0.70:8080/')], contextPath: null, war: 'target/*.war'
        }
         
        }
    }
}

把 Jenkinsfile上传到Gitlab
2)在项目中引用该文件

三、常用的构建触发器

Jenkins内置4种构建触发器:

  • 触发远程构建
  • 其他工程构建后触发( Build after other projects are build)
  • 定时构建( Build periodically)
  • 轮询 SCM(Poll SCM)

触发远程构建

触发构建 url:http://10.0.0.80:8080/job/test_pipeline/build?token=6666

注意:拿着这个触发构建的URL去浏览器访问会发现在jenkins原来的服务上重新构建一个新的项目。

其他工程构建后触发

1)创建pre_job流水线工程

2 )配置需要触发的工程

注意:看见的效果就是一个pre_job构建完成后,test_pipeline才开始构建。

定时构建

定时字符串从左往右分别为: 分 时 日 月 周
一些定时表达式的例子:
每30分钟构建一次:H代表形参 H/30 * * * * 10:02 10:32
每2个小时构建一次: H H/2 * * *
每天的8点,12点,22点,一天构建3次: (多个时间点中间用逗号隔开) 0 8,12,22 * * *
每天中午12点定时构建一次 H 12 * * *
每天下午18点定时构建一次 H 18 * * *
在每个小时的前半个小时内的每10分钟 H(0-29)/10 * * * *
每两小时一次,每个工作日上午9点到下午5点(也许是上午10:38,下午12:38,下午2:38,下午
4:38) H H(9-16)/2 * * 1-5

轮询SCM

轮询SCM,是指定时扫描本地代码仓库的代码是否有变更,如果代码有变更就触发项目构建。


注意:这次构建触发器, Jenkins会定时扫描本地整个项目的代码,增大系统的开销,不建议使用。

四、Git hook自动触发构建

刚才我们看到在Jenkins的内置构建触发器中,轮询SCM可以实现Gitlab代码更新,项目自动构建,但是该方案的性能不佳。那有没有更好的方案呢? 有的。就是利用Gitlab的webhook实现代码push到仓库,立即触发项目自动构建。

安装Gitlab Hook插件

需要安装两个插件:
Gitlab HookGitLab

Jenkins设置自动构建


等会需要把生成的 webhook URL配置到Gitlab中。

1)开启webhook功能
使用root账户登录到后台,点击Admin Area -> Settings -> Network
勾选"Allow requests to the local network from web hooks and services"

2 )在项目添加webhook
点击项目->Settings->Integrations

注意:以下设置必须完成,否则会报错!
Manage Jenkins->Configure System

测试:修改webapps下的文件index.jsp
只要你我们一push代码,gitlab的webhook就会向jenkins发请求。

五、Jenkins的参数化构建

有时在项目构建的过程中,我们需要根据用户的输入动态传入一些参数,从而影响整个构建结果,这时
我们可以使用参数化构建。
Jenkins支持非常丰富的参数类型

接下来演示通过输入 gitlab项目的分支名称来部署不同分支项目。

项目创建分支,并推送到Gitlab上


构建:

输入分支名称,构建即可!构建完成后访问 Tomcat查看结果

新建分支:v1_stable,代码稍微改动下,然后提交到gitlab上。


改动 pipeline流水线代码

点击 Build with Parameters

jenkins参数化构建

六、配置邮箱服务器发送构建结果

安装Email Extension插件

Jenkins设置邮箱相关参数

Manage Jenkins->Configure System

设置邮件参数

设置Jenkins默认邮箱信息

准备邮件内容

在项目根目录编写email.html,并把文件推送到Gitlab,内容如下:

<!DOCTYPE html>
<html>
<head>
    <meta charset="UTF-8">
    <title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志</title>
</head>

<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4"
      offset="0">
<table width="95%" cellpadding="0" cellspacing="0"
       style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">
    <tr>
        <td>(本邮件是程序自动下发的,请勿回复!)</td>
    </tr>
    <tr>
        <td><h2>
            <font color="#0000FF">构建结果 - ${BUILD_STATUS}</font>
        </h2></td>
    </tr>
    <tr>
        <td><br />
            <b><font color="#0B610B">构建信息</font></b>
            <hr size="2" width="100%" align="center" /></td>
    </tr>
    <tr>
        <td>
            <ul>
                <li>项目名称&nbsp;:&nbsp;${PROJECT_NAME}</li>
                <li>构建编号&nbsp;:&nbsp;第${BUILD_NUMBER}次构建</li>
                <li>触发原因:&nbsp;${CAUSE}</li>
                <li>构建日志:&nbsp;<a href="${BUILD_URL}console">${BUILD_URL}console</a></li>
                <li>构建&nbsp;&nbsp;Url&nbsp;:&nbsp;<a href="${BUILD_URL}">${BUILD_URL}</a></li>
                <li>工作目录&nbsp;:&nbsp;<a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>
                <li>项目&nbsp;&nbsp;Url&nbsp;:&nbsp;<a href="${PROJECT_URL}">${PROJECT_URL}</a></li>
            </ul>
        </td>
    </tr>
    <tr>
        <td><b><font color="#0B610B">Changes Since Last
            Successful Build:</font></b>
            <hr size="2" width="100%" align="center" /></td>
    </tr>
    <tr>
        <td>
            <ul>
                <li>历史变更记录 : <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a></li>
            </ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat="&nbsp;&nbsp;&nbsp;&nbsp;%p"}
        </td>
    </tr>
    <tr>
        <td><b>Failed Test Results</b>
            <hr size="2" width="100%" align="center" /></td>
    </tr>
    <tr>
        <td><pre
                style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre>
            <br /></td>
    </tr>
    <tr>
        <td><b><font color="#0B610B">构建日志 (最后 100行):</font></b>
            <hr size="2" width="100%" align="center" /></td>
    </tr>
    <tr>
        <td><textarea cols="80" rows="30" readonly="readonly"
                      style="font-family: Courier New">${BUILD_LOG, maxLines=100}</textarea>
        </td>
    </tr>
</table>
</body>
</html>


编写Jenkinsfile添加构建后发送邮件

pipeline {
   agent any

   stages {
      stage('pull code') {
         steps {
            checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: 'b632ed00-fc81-43c8-a746-5aa0673b2658', url: 'git@192.168.66.100:itheima_group/web_demo.git']]])
         }
      }
      stage('code checking') {
         steps {

            script {
                 //引入SonarQubeScanner工具
                scannerHome = tool 'sonar-scanner'
            }
            //引入SonarQube的服务器环境
            withSonarQubeEnv('sonarqube') {
                sh "${scannerHome}/bin/sonar-scanner"
            }
         }
      }
      stage('build project') {
         steps {
            sh 'mvn clean package'
         }
      }
      stage('publish project') {
         steps {
            deploy adapters: [tomcat8(credentialsId: 'fc23e5b7-9930-4dfb-af66-a2a576be52fb', path: '', url: 'http://192.168.66.102:8080')], contextPath: null, war: 'target/*.war'
         }
      }
   }
   post {
         always {
            emailext(
               subject: '构建通知:${PROJECT_NAME} - Build # ${BUILD_NUMBER} - ${BUILD_STATUS}!',
               body: '${FILE,path="email.html"}',
               to: '1014671449@qq.com'
            )
         }
   }
}

测试


PS:邮件相关全局参数参考列表:
系统设置->Extended E-mail Notification->Content Token Reference,点击旁边的?号

以上是关于linux12Devops --> 09Pipeline简介的主要内容,如果未能解决你的问题,请参考以下文章

linux12Devops -->07jenkins部署python

linux12Devops -->06Jenkins部署tomcat

linux12Devops --> 01软件开发生命周期持续集成代码管理工具Git

linux12Devops -->08jenkins部署Golang

linux12Devops -->05 Jenkins部署php实战

linux12Devops -->10Jenkins流水线容器化+Harbor私有仓库