Jenkins——Jenkins介绍+基于云平台的Jenkins安装和持续集成环境配置(插件+用户权限+凭据+Maven打包)
Posted 烈火吞噬
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Jenkins——Jenkins介绍+基于云平台的Jenkins安装和持续集成环境配置(插件+用户权限+凭据+Maven打包)相关的知识,希望对你有一定的参考价值。
Jenkins——Jenkins介绍+基于云平台的Jenkins安装和持续集成环境配置(插件+用户权限+凭据+Maven打包)
持续集成及Jenkins介绍
软件开发生命周期
-
软件开发生命周期又叫做
SDLC
(Software Development Life Cycle),它是集合了计划、开发、测试和部署过程的集合
-
需求分析
:根据项目需求,团队执行一个可行性计划的分析。项目需求可能是公司内部或者客户提出的,这阶段主要是对信息的收集,也有可能是对现有项目的改善和重新做一个新的项目。还要分析项目的预算多长,可以从哪方面受益及布局,这也是项目创建的目标 -
设计
:设计阶段,系统架构和满意状态(就是要做成什么样子,有什么功能),和创建一个项目计划,计划可以使用图表,布局设计或者文档方式呈现 -
实现
:项目经理创建和分配工作给开发人员,开发人员根据任务和在设计阶段定义的目标进行开发代码,依据项目的大小和复杂程度,可以需要数月或更长时间才能完成 -
测试
:测试人员进行代码测试,包括功能测试、代码测试、压力测试等 -
进化(维护)
:最后阶段就是对产品不断地进化改进和维护阶段,根据用户的使用情况,可能需要对某功能进行修改,BUG修复,功能增加等
什么是持续集成?
- 持续集成(Continuous integration,简称
CI
)指的是,频繁的(一天多次)将代码集成到主干。 - 持续集成的目的:就是让产品可以快速迭代,同时还能保持高质量。它的核心措施是,代码集成到主干之前,必须经过自动化测试,只要有一个测试用例失败,就不能集成
- 通过持续集成,团队可以快速的从一个功能到另一个功能,简而言之,敏捷软件开发很大一部分都要归功于持续集成
持续集成的流程
根据持续集成的设计,代码从生产到提交,整个过程有以下几步:
- 提交:开发者向代码仓库提交代码,所有后面的步骤都始于本地代码的一次提交(Commit)
- 测试(第一轮):代码仓库对commit操作配置了钩子(hook),只要提交代码或者合并进主干,就会跑自动化测试
- 构建:通过第一轮测试,代码就可以合并进主干,就算可以交付
- 交付后,就先进行构建(build),再进入第二轮测试,所谓构建,指的是将源代码转换为可以运行的实际代码,比如安装依赖,配置各种资源(样式表、JS脚本、图片)等等
- 测试(第二轮):构建完成,就要进行第二轮测试,如果第一轮已经涵盖了所有测试内容,第二轮可以省略,当然,这时构建步骤也要移到第一轮测试前面
- 部署:过了第二轮测试,当前代码就是一个可以直接部署的版本(artifact),将这个版本的所有文件打包(tar filename.tar *)存档,发到生产服务器
- 回滚:一旦当前版本发生问题,就要回滚到上一个版本的构建结果,最简单的做法就是修改一下符号链接,指向上一个版本的目录
持续集成的组成要素
- 一个自动构建过程,从检出代码、编译构建、运行测试、结构记录、测试统计等都是自动完成的,无需人工干预
- 一个代码存储库,即需要版本控制软件来保障代码的可维护性,同时作为构建过程的素材库,一般使用
SVN
或Git
- 一个持续集成服务器,Jenkins就是一个配置简单和使用方便的持续集成服务器
持续集成的好处
- 降低风险,由于持续集成不断去构建,编译和测试,可以很早期发现问题,所以修复的代价很少
- 对系统健康持续检查,减少发布风险带来的问题
- 减少重复性工作
- 持续部署,提供可部署单元包
- 持续交付可供使用的版本
- 增强团队信心
Jenkins介绍
- Jenkins是一款流行的开源持续集成(Continuous Integration)工具,广泛用于项目开发,具有自动化构建、测试和部署等功能官方网址:https://www.jenkins.io/
Jenkins特性
- 开源的Java语言开发持续集成工具,支持持续集成,持续部署
- 易于安装部署配置:可通过
Yum
方式,或下载War
包以及通过Docker
容器等快速实现安装部署,可方便web界面配置管理 - 消息通知及测试报告:集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过E-mail通知,生成JUnit/TestNG测试报告
- 分布式构建:支持Jenkins能够让多台计算机一起构建/测试
- 文件识别:Jenkins能够跟踪哪次构建生成哪些Jar,哪次构建使用哪个版本的Jar包等
- 丰富的插件支持:支持扩展插件,可以开发适合自己团队使用的工具,如Git、SVN、Maven、docker等
Jenkins安装和持续集成环境配置
持续集成流程说明
- 首先,开发人员每天进行代码提交,提交到Git仓库
- 然后,Jenkins作为持续集成工具,使用Git工具到Git仓库拉取代码到集成服务器,再配合JDK、Maven等软件完成代码编译,代码测试与审查,测试,打包等工作,在这个过程中每一步出错,都重新再执行一次整个流程
- 最后,Jenkins把生成的Jar或War包分发到测试服务器或者生产服务器,测试人员或用户就可以访问应用
主机规划
名称 | IP地址 | 安装的软件 | 云平台 | 硬件配置 | 系统 |
---|---|---|---|---|---|
代码托管服务器 | 47.108.95.85 | Gitlab-12.9.9 | 阿里云 | 2核4G | CentOS Linux release 7.9.2009 (Core) |
持续集成服务器 | 42.193.47.95 | Jenkins-2.290,JDK1.8,Maven3.6.2,Git,SonarQube | 腾讯云 | 2核4G | CentOS Linux release 7.9.2009 (Core) |
应用测试服务器 | 139.198.118.240 | JDK1.8,Tomcat8.5 | QINGCLOUD | 1核1G | CentOS Linux release 7.9.2009 (Core) |
Gitlab代码托管服务器安装
#安装相关依赖
yum -y install policycoreutils policycoreutils-python openssh-server openssh-clients postfix
#启动ssh服务&设置为开机启动
systemctl enable sshd && sudo systemctl start sshd
#设置postfix开机自启,并启动,postfix支持gitlab发信功能
systemctl enable postfix && systemctl start postfix
#开放ssh以及http服务,然后重新加载防火墙列表,如果关闭防火墙就不需要以上配置
firewall-cmd --add-service=ssh --permanent
firewall-cmd --add-service=http --permanent
firewall-cmd --reload
#下载Gitlab包,并且安装
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el6/gitlab-ce-12.9.9-ce.0.el6.x86_64.rpm
rpm -ivh gitlab-ce-12.9.9-ce.0.el6.x86_64.rpm
# 修改Gitlab配置
vim /etc/gitlab/gitlab.rb
# 修改Gitlab访问地址和端口,默认为80,修改为90, 80端口可能会与服务器上web应用端口冲突
29 external_url 'http://47.108.95.85:90'
64 gitlab_rails['time_zone'] = 'Asia/Shanghai'
1159 nginx['listen_port'] = 90
# 重载配置及启动Gitlab
gitlab-ctl reconfigure
gitlab-ctl restart
# 把端口添加到防火墙,如果关闭防火墙就不需要以上配置
firewall-cmd --add=public --add-port=90/tcp --permanent
firewall-cmd --reload
# 阿里云安全组开放90端口
第一次登录需要修改
ROOT
账户密码,实验的关系设置为如下,注:密码为8位或以上
登录
Gitlab
,用户为ROOT
,密码为刚才设置的
登录成功
,并设置汉化:https://www.centoscn.vip/2816.html
Gitlab添加组、创建用户、创建项目
创建组
- 实验管理员
ROOT
创建组,一个组里面可以有多个项目分支,可以将开发添加到组里面进行设置权限,不同的组就是公司不同的开发项目或者服务模块,不同的组添加不同的开发即可实现对开发设置权限的管理
创建一个项目
创建用户并分配至这个组
创建成功后,再次编辑用户为其增加密码
将新用户添加至创建的组内
- Gitlab用户在组里面有5种不同权限
- Guest(访客):可以创建issue,发表评论,不能读写库版本
- Reporter:可以克隆代码,不能提交,
QA、PM可以赋予这个权限(项目经理)
- Developer:可以克隆代码、开发、提交、Push,
普通开发可以赋予这个权限
- Maintainer(维护者):可以创建项目、添加Tag、保护分支、添加项目成员、编辑项目,
核心开发可以赋予这个权限
- Owner:可以设置项目访问权限 - Visibility Level、删除项目、迁移项目、管理组成员,
开发组组长可以赋予这个权限
使用新用户登陆
源代码上传至Gitlab服务器
IDEA导入Java项目
启用版本控制集成
选择Git
提交代码到本地仓库,先Add到缓存
提交代码至本地仓库
Commit Directory
添加远程仓库地址
地址为Gitlab仓库中项目的
HTTP
地址
推送至Gitlab项目仓库
进入项目仓库查看
# 以上为第一次学习时的版本,本次使用Gitlab服务器上传代码
# 使用HTTP的方式,复制代码仓库的地址
http://47.108.95.85:90/productioncode_group/web_demo.git
[root@code ~]# ls
web_demo
cd web_demo/
# 修改项目默认仓库路径
vim web_demo/.git/config
[core]
repositoryformatversion = 0
filemode = false
bare = false
logallrefupdates = true
symlinks = false
ignorecase = true
[remote "gitlab"]
url = http://47.108.95.85:90/productioncode_group/web_demo.git # 指明镜像仓库地址
fetch = +refs/heads/*:refs/remotes/gitlab/*
[branch "master"]
remote = gitlab
merge = refs/heads/master
# 添加本地版本仓库
git add .
# 声明上传作者及邮箱
git config --global user.email "1064981253@qq.com"
git config --global user.name "pakho"
# 提交代码到本地仓库,-m 一般为开发人员本次修改的BUG注释
git commit -m "初始化代码提交"
# 上传代码至远程Git仓库,并为本项目主分支
git push gitlab master
Username for 'http://47.108.95.85:90': pakho # 登录账号
Password for 'http://pakho@47.108.95.85:90':
[root@code web_demo]# git push gitlab master
Username for 'http://47.108.95.85:90': pakho
Password for 'http://pakho@47.108.95.85:90':
Counting objects: 112, done.
Delta compression using up to 2 threads.
Compressing objects: 100% (87/87), done.
Writing objects: 100% (112/112), 19.19 KiB | 0 bytes/s, done.
Total 112 (delta 30), reused 0 (delta 0)
remote: Resolving deltas: 100% (30/30), done.
To http://47.108.95.85:90/productioncode_group/web_demo.git
* [new branch] master -> master
Jenkins服务器安装
Jenkins服务器安装
#Jenkins需要依赖JDK,所以先安装JDK1.8
yum -y install java-1.8.0-openjdk* #安装目录为: /usr/lib/jvm
#获取Jenkins安装包
wget https://mirrors.tuna.tsinghua.edu.cn/jenkins/redhat/jenkins-2.290-1.1.noarch.rpm
rpm -ivh jenkins-2.290-1.1.noarch.rpm
#修改Jenkins配置
vim /etc/sysconfig/jenkins
#修改Jenkins操作用户为root
JENKINS_USER="root"
#修改端口,默认为8080 改为8888
JENKINS_PORT="8888"
# 启动jenkins
systemctl start jenkins && systemctl enable jenkins
# 腾讯云服务器安全组放行8888端口
#可以实现查看Jenkins初始密码
cat /var/lib/jenkins/secrets/initialAdminPassword
- Jenkins 版本如下
跳过插件安装
- 因为Jenkins插件需要连接默认官网下载,速度非常慢,而且过程可能会失败,所以先暂时跳过插件安装
- 选择全
无
-->安装
(其实是跳过安装插件步骤)
创建管理员账户,默认有一个管理员账户为admin,可以创建一个
Jenkins插件管理
- Jenkins本身不提供很多功能,可以通过插件来满足使用,例如从
Gitlab
拉取代码,使用Maven构建项目等功能需要依靠插件完成
修改Jenkins插件下载地址
- Jenkins国外官方插件地址下载速度非常慢,所以修改为国内插件地址
Jenkins --> Manage Jenkins --> Manage Plugins,点击Available --> 等待插件加载完成
- 这样做是为了把Jenkins官方的插件列表下载到本地,接着修改地址文件,替换为国内插件地址
#进入Jenkins目录
cd /var/lib/jenkins/
[root@VM-0-16-centos jenkins]# cd updates/
[root@VM-0-16-centos updates]# ls
default.json hudson.tasks.Maven.MavenInstaller # default.json 记录了官方下载插件的地址
#修改为清华大学开源的Jenkins下载地址
sed -i 's/http:\\/\\/updates.jenkins-ci.org\\/download/https:\\/\\/mirrors.tuna.tsinghua.edu.cn\\/jenkins/g' default.json && sed -i 's/http:\\/\\/www.google.com/https:\\/\\/www.baidu.com/g' default.json
- 回到Jenkins Manage Plugins --> Advanced,把Update Site改为国内插件下载地址
https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json
- Submit后,浏览器输入:
http:// IP地址 + 端口/restart
,重启Jenkins
下载中文汉化插件
- Jenkins --> Manage Plugins --> 点击Available,搜索
"Chinese"
- 重启后完成汉化操作
Jenkins用户权限管理
- 可以利用Role-based Authorization Strategy 插件来管理Jenkins用户权限
安装Role-based Authorization Strategy插件
创建角色 --> Manage Roles
创建一个具有可读权限的全局角色
创建两个项目角色
- Pattern : 表示可以访问以什么前缀开头的项目
创建用户用于测试角色是否可用
通过新用户登陆Jenkins,没有权限
通过管理员用户给新用户分配角色
- 两个账户都具有基本的登陆权限,lilei只有访问
pakho
前缀的项目,hanmeimei只有访问java
前缀的项目
创建项目进行权限测试
使用不同账户登陆验证
- lilei只能看到pakho前缀的项目
- hanmeimei只能看到java前缀的项目
Jenkins凭证管理
- 凭证用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码登,以便Jenkins可以和这些第三方的应用进行交互
安装Credentials Binding插件
- 要在Jenkins使用凭证管理功能,需要安装Credentials Binding插件
- 下载完成后,安全里多了凭据菜单
- 新建凭据
- 可以添加的凭据有五种:
Username with password
:存储以用户名和密码登陆的凭据,如Gitlab
SSH Username with private key
:SSH免密登录Secret file
:密码文件,使用时Jenkins会将文件复制到一个临时目录中,再将文件路径设置到一个变量中,等构建结束后,所复制的Secret file就会被删除- Secret text:需要保存的一个加密的文本串,如钉钉机器人或Github的api token或者集成
Sonar
代码审查 - Certificate:通过上传证书文件的方式
- 常用的凭证类型有:Username with password(用户密码) 和 SSH Username with private key(SSH密钥)
配置凭据使用Git工具到Gitlab拉取项目源码
- 为了让Jenkins支持从Gitlab拉取源码,需要安装Git插件以及在CentOS7上安装Git工具
yum -y install git
[root@VM-0-16-centos ~]# git --version
git version 1.8.3.1
用户密码类型凭据
- Jenkins --> 凭据 --> 系统 --> 全局凭证 --> 添加凭据
新建测试项目
Test01
项目
选择使用
Git
方式拉取代码
构建项目
查看构建细节
# 服务器查看
[root@VM-0-16-centos ~]# cd /var/lib/jenkins/workspace/test01
[root@VM-0-16-centos test01]# ls
pom.xml src web_demo.iml
SSH密钥类型凭证
- SSH免密登录示意图
[root@VM-0-16-centos ~]# ssh-keygen -t rsa
[root@VM-0-16-centos ~]# cd ~/.ssh/
[root@VM-0-16-centos .ssh]# ls
authorized_keys id_rsa id_rsa.pub known_hosts
#id_rsa.pub:公钥
#id_rsa:私钥
#查看公钥
[root@VM-0-16-centos .ssh]# cat id_rsa.pub
使用
ROOT
账户登录Gitlab
Jenkins
服务器添加私钥
# 查看私钥
[root@VM-0-16-centos .ssh]# cat id_rsa
添加新项目进行测试
构建项目
# Jenkins服务器查看
[root@VM-0-16-centos ~]# cd /var/lib/jenkins/workspace/test02
[root@VM-0-16-centos test02]# ls
pom.xml src web_demo.iml
Maven安装及配置
- 在Jenkins服务器上,需要安装Maven来编译和打包项目
wget https://dlcdn.apache.org/maven/maven-3/3.8.3/binaries/apache-maven-3.8.3-bin.tar.gz
tar xf apache-maven-3.8.3-bin.tar.gz -C /usr/local/
mv /usr/local/apache-maven-3.8.3/ /usr/local/maven
#配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
source /etc/profile
#查看Maven版本
mvn -v
[root@VM-0-16-centos ~]# mvn -v
Apache Maven 3.8.3 (ff8e977a158738155dc465c6a97ffaf31982d739)
Maven home: /usr/local/maven
Java version: 1.8.0_312, vendor: Red Hat, Inc., runtime: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el7_9.x86_64/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-1160.31.1.el7.x86_64", arch: "amd64", family: "unix"
全局工具配置关联JDK和Maven
- Jenkins --> Global Tool Configuration --> JDK --> 新增JDK
新增JDK
配置Maven
添加Jenkins全局变量
- Manage Jenkins --> Configure System --> Global Properties,添加三个全局变量
JAVA_HOME
、M2_HOME
、PATH+EXTRA
修改Maven的Settings.xml
# 存放本地仓库的文件
mkdir /root/repo -p
vim /usr/local/maven/conf/settings.xml
#本地仓库设置
-->
53 <localRepository>/root/repo</localRepository>
#添加阿里云私服地址,可追加可删除原有地址再追加
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
</mirrors>
测试Maven是否配置成功
- 使用之前的Gitlab密码测试项目,修改配置
调用mvn命令先清空字节码和构建好的包
先清空构建元素再进行打包
构建
控制台查看输入,正在使用配置的阿里源拉取包
#查看本地仓库文件,下载的为构建此项目下载的依赖
[root@VM-0-16-centos ~]# cd /root/repo/
[root@VM-0-16-centos repo]# ls
backport-util-concurrent classworlds com commons-cli commons-logging javax junit log4j org xpp3
#查看项目目录
[root@VM-0-16-centos ~]# cd /var/lib/jenkins/workspace/test02
[root@VM-0-16-centos test02]# ls
pom.xml src target web_demo.iml
[root@VM-0-16-centos test02]# cd target/
[root@VM-0-16-centos target]# ls
classes maven-archiver maven-status web_demo-1.0-SNAPSHOT web_demo-1.0-SNAPSHOT.war
Tomcat安装和配置
#安装JDK
yum install -y java-1.8.0-openjdk*
java -version
#下载Tomcat
wget https://archive.apache.org/dist/tomcat/tomcat-8/v8.5.47/bin/apache-tomcat-8.5.47.tar.gz
tar xf apache-tomcat-8.5.47.tar.gz -C /usr/local/
mv /usr/local/apache-tomcat-8.5.47/ /usr/local/tomcat
#启动Tomcat
cd /usr/local/tomcat/bin/
./startup.sh
配置Tomcat用户角色权限
- 主页下点击Manager webapp
提示权限不足
为Tomcat添加角色
cd /usr/local/tomcat/conf/
vim tomcat-users.xml #该配置文件存放所有tomcat用户和角色
<role rolename="tomcat"/>
<role rolename="role1"/>
<role rolename="manager-script"/>
<role rolename="manager-gui"/>
<role rolename="manager-status"/>
<role rolename="admin-gui"/>
<role rolename="admin-script"/>
<user username="tomcat" password=有容云案例系列基于Jenkins和Kubernetes的CI工作流