Jenkins 和 k8s 构建企业级 DevOps 容器云平台

Posted 2022-12-14 笨小孩@GF 知行合一

• 什么是 DevOps？

• DevOps 中的 Dev 是 Devlopment（开发），Ops 是 Operation（运维），用一句话来说 DevOps 就是打通开发运维的壁垒，实现开发运维一体化。DevOps 整个流程包括敏捷开发->持续集成->持续交付->持续部署。
• 敏捷开发
  提高开发效率，及时跟进用户需求，缩短开发周期。
  敏捷开发包括编写代码和构建代码两个阶段，可以使用 git 或者 svn 来管理代码，用 maven 对代码进行构建
• 持续集成（CI）
  持续集成强调开发人员提交了新代码之后，立刻自动的进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起。持续集成过程中很重视自动化测试验证结果，对可能出现的一些问题进行预警，以保障最终合并的代码没有问题。

• 常见的持续集成工具：

• Jenkins
  Jenkins 是用 Java 语言编写的，是目前使用最多和最受欢迎的持续集成工具，使用 Jenkins，可以自动监测到 git 或者 svn 存储库代码的更新，基于最新的代码进行构建，把构建好的源码或者镜像发布到生产环境。
  
  Jenkins 还有个非常好的功能：它可以在多台机器上进行分布式地构建和负载测试
  
  TeamCity
  Travis CI
  Go CD 
  Bamboo
  GitLab CI
  Codeship

• Jenkins 的好处主要有以下几点：
  1）较早的发现错误：每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，哪个环节出现问题都可以较早的发现。
  2）快速的发现错误：每完成一部分代码的更新，就会把代码集成到主干中，这样就可以快速的发现错误，比较容易的定位错误。
  3）提升团队绩效：持续集成中代码更新速度快，能及时发现小问题并进行修改，使团队能创造出更好的产品。
  4）防止分支过多的偏离主干：经常持续集成，会使分支代码经常向主干更新，当单元测试失败或者出现 bug，如果开发者需要在没有调试的情况下恢复仓库的代码到没有 bug 的状态，只有很小部分的代码会丢失。

• 持续集成的目的是提高代码质量，让产品快速的更新迭代。它的核心措施是，代码集成到主干之前，必须通过自动化测试。只要有一个测试用例失败，就不能集成。

• Martin Fowler 说过，"持续集成并不能消除 Bug，而是让它们非常容易发现和改正。"
• 持续集成(Continuous Integration [kənˈtɪnjuəs ˌɪntɪˈɡreɪʃn])（CI）
  持续交付(Continuous Delivery kənˈtɪnjuəs dɪˈlɪvəri])（CD）
• 
  与持续集成相关的还有持续交付和持续部署
• 持续交付
  持续交付在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境的「类生产环境」（production-like environments）中。交付给质量团队或者用户，以供评审。如果评审通过，代码就进入生产阶段。如果所有的代码完成之后一起交付，会导致很多问题爆发出来，解决起来很麻烦，所以持续集成，也就是每更新一次代码，都向下交付一次，这样可以及时发现问题，及时解决，防止问题大量堆积。
• 持续部署
  持续部署是指当交付的代码通过评审之后，自动部署到生产环境中。持续部署是持续交付的最高阶段。Puppet，SaltStack 和 Ansible 是这个阶段使用的流行工具。容器化工具在部署阶段也发挥着重要作用。 Docker 和 k8s 是流行的工具，有助于在开发，测试和生产环境中实现一致性。 除此之外，k8s还可以实现自动扩容缩容等功能。

• k8s 在 DevOps 中可实现的功能

• 自动化
  敏捷开发->持续集成->持续交付->持续部署。
  
  多集群管理
  可以根据客户需求对开发，测试，生产环境部署多套 kubernetes 集群，每个环境使用独立的物理资源，相互之间避免影响。
  
  多环境一致性
  Kubernetes 是基于 docker 的容器编排工具，因为容器的镜像是不可变的，所以镜像把 OS、业务代码、运行环境、程序库、目录结构都包含在内，镜像保存在我们的私有仓库，只要用户从我们提供的私有仓库拉取镜像，就能保证环境的一致性。
  
  实时反馈和智能化报表
  每次集成或交付，都会第一时间将结果通过多途径的方式反馈给你，也可以定制适合企业专用的报表平台。
• 

• DevOps 容器云平台工作流程

• Jenkins 是开源的 CI&CD 工具， 提供超过 1000 个插件来支持构建、部署、自动化， 满足任何项目的需要。完整的 DevOps 流程：
  
  开发提交代码到代码仓库 gitlab-→jenkins 检测到代码更新-→调用 k8s api 在 k8s 中创建 jenkinsslave pod：
  
  Jenkins slave pod 拉取代码---→通过 maven 把拉取的代码进行构建成 war 包或者 jar 包--->上传代码到 Sonarqube，进行静态代码扫描- -->基于 war 包构建 docker image-->把镜像上传到harbor 镜像仓库-->基于镜像部署应用到开发环境-->部署应用到测试环境--->部署应用到生产环境。
  

• Service 的 type 类型:nodeport、clusterip、云负载均衡器、externalname

• Headlesservice：statefulset

---

• Jenkins+k8s+Git 构建企业级 DevOps 自动化容器云平台

• 安装 Jenkins

• 可用如下两种方法
  1）通过 docker 直接下载 jenkins 镜像，基于镜像启动服务
  2）在 k8s 中部署 Jenkins 服务
• 安装 nfs 服务
  #选择自己的任意一台机器
  yum install nfs-utils -y
  systemctl enable nfs --now
  创建一个 nfs 共享目录
  mkdir /data/v1 -p
  vim /etc/exports
  /data/v1 *(rw,no_root_squash)
  systemctl restart nfs
  

• 在 kubernetes 中部署 jenkins
  （1）创建名称空间
  # kubectl create namespace jenkins-k8s
  （2）创建 pv
  # vim pv.yaml

  

  

  （3）创建 pvc
  # vim pvc.yaml
  

  

   （4）给新创建的名称空间 jenkins-k8s 创建一个 sa 账号
  # kubectl create sa jenkins-k8s-sa -n jenkins-k8s
  （5）把上面的 sa 账号做 rbac 授权
  # kubectl create clusterrolebinding jenkins-k8s-sa-cluster --clusterrole=cluster-admin --serviceaccount=jenkins-k8s:jenkins-k8s-sa
  

  （6）通过 deployment 部署 jenkins
  # vim jenkins-deployment.yaml

  

  

  

   #上面可以看到 CrashLoopBackOff，解决方法如下：
  #查看 jenkins-5799669ccd-kb5nn 日志
  # kubectl logs jenkins-5799669ccd-kb5nn -n jenkins-k8s
  touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied
  #上面问题是因为/data/v1 目录权限问题，按如下方法解决：
  # chown -R 1000.1000 /data/v1/
  # kubectl delete -f jenkins-deployment.yaml
  # kubectl apply -f jenkins-deployment.yaml
  # kubectl get pods -n jenkins-k8s
  

  （7）把 jenkins 前端加上 service，提供外部网络访问
  # cat jenkins-service.yaml

  

  
   

• 配置 Jenkins
  在浏览器访问 jenkins 的 web 界面：
  http://192.168.2.10:30002/
  

   1）获取管理员密码
  在 nfs 服务端获取密码：
  # cat /data/v1/jenkins-home/secrets/initialAdminPassword
  2289d2a880b648aa86d9d5a05d30949b
  把获取到的密码拷贝到上面管理员密码下的方框里
  点击继续，出现如下界面
  

   2）安装插件
  安装推荐的插件
  
  离线安装 jenkins 插件：
  https://plugins.jenkins.io/

  插件安装好之后显示如下
  
  3）创建第一个管理员用户 

   用户名和密码都设置成 admin，线上环境需要设置成复杂的密码
  修改好之后点击保存并完成，出现如下界面
  点击保存并完成，出现如下界面
  

  点击保存并完成，出现如下界面 
  

  点击开始使用 Jenkins
  

• 测试 jenkins 的 CI/CD
  #在 Jenkins 中安装 kubernetes 插件
  （1）在 jenkins 中安装 k8s 插件
  Manage Jnekins------>插件管理------>可选插件------>搜索 kubernetes------>出现如下
  

  选中 kubernetes 之后------>点击下面的直接安装------>选择安装完成后重启Jenkins 
  

  

  

  

• 配置 jenkins 连接到我们存在的 k8s 集群
  （1）访问 http://192.168.2.10:30002/configureClouds/
   或者点击 系统管理--节点管理--ConfigureClouds

  
  新增一个云,在下拉菜单中选择 kubernets 并添加
  

  
  （2）填写云 kubernetes 配置内容
  kubernetes
  https://192.168.2.10:6443
  （3）测试 jenkins 和 k8s 是否可以通信
  

  点击连接测试，如果显示 Connection test successful 或者显示Connected to Kubernetes 1.20
  说明测试成功，Jenkins 可以和 k8s 进行通信
  
  配置 k8s 集群的时候 jenkins 地址需要写上面域名的形式
  配置之后执行如下：
  http://jenkins-service.jenkins-k8s.svc.cluster.local:8080
  应用------>保存
  
   #配置 pod-template
  （1）配置 pod template
  访问 http://192.168.2.10:30002/configureClouds/
  选择 Pod Template---->添加 Pod 模板------>按如下配置
  

  在上面的 pod template 下添加容器
  添加容器------>Container Template------>按如下配置------>

  

  在 Service Account 处输入 jenkins-k8s-sa，这个 sa 就是我们最开始安装 jenkins 时注册的 sa
  
  （3）给上面的 pod template 添加卷
  添加卷------>选择 Host Path Volume
  /var/run/docker.sock
  /var/run/docker.sock
  /root/.kube
  /home/jenkins/.kube
  上面配置好之后，应用------>保存
  

  #添加 dockerhub 凭据
  注意：下面需要用到 dockerhub 存放镜像，可以自己申请一个
  首页------>系统管理----→Manage Credentials--→全局--→添加凭据
  

  

  

  

• #测试通过 Jenkins 发布代码到 k8s 开发环境、测试环境、生产环境

• 在 k8s 的控制节点创建名称空间：
  kubectl create ns devlopment
  kubectl create ns production
  kubectl create ns qatest
  

• 回到 jenkins 首页：

新建一个任务------>输入一个任务名称处输入 jenkins-variable-test-deploy------>流水线------>确定------>在 Pipeline script 处输入如下内容

node('testhan') 
 stage('Clone') 
  echo "1.Clone Stage"
  git url: "https://gitee.com/gaofei0428/jenkins-sample.git"
  script 
   build_tag = sh(returnStdout: true, script: 'git rev-parse --short HEAD').trim()
  
 
 stage('Test') 
  echo "2.Test Stage"
 
 stage('Build') 
  echo "3.Build Docker Image Stage"
  sh "docker build -t gaofei0428/jenkins-demo:$build_tag ."
  //此处标签更改为自己的 dockerhub 的 username
 
 stage('Push') 
  echo "4.Push Docker Image Stage"
  withCredentials([usernamePassword(credentialsId: 'dockerhub',passwordVariable: 'dockerHubPassword', usernameVariable: 'dockerHubUser')]) 
   sh "docker login -u $dockerHubUser -p $dockerHubPassword"
   sh "docker push gaofei0428/jenkins-demo:$build_tag"
   //此处标签更改为自己的 dockerhub 的 username
  
 
 stage('Deploy to dev') 
  echo "5. Deploy DEV"
   sh "sed -i 's/<BUILD_TAG>/$build_tag/' k8s-dev-xuegod.yaml"
   sh "sed -i 's/<BRANCH_NAME>/$env.BRANCH_NAME/' k8s-dev-xuegod.yaml"
   // sh "bash running-devlopment.sh"
   sh "kubectl apply -f k8s-dev-xuegod.yaml --validate=false"
 
 stage('Promote to qa') 
  def userInput = input(
   id: 'userInput',
   message: 'Promote to qa?',
   parameters: [
     [
      $class: 'ChoiceParameterDefinition',
      choices: "YES\\nNO",
      name: 'Env'
     ]
   ]
  )
  echo "This is a deploy step to $userInput"
  if (userInput == "YES") 
   sh "sed -i 's/<BUILD_TAG>/$build_tag/' k8s-qa-xuegod.yaml"
   sh "sed -i 's/<BRANCH_NAME>/$env.BRANCH_NAME/' k8s-qa-xuegod.yaml"
   // sh "bash running-qa.sh"
   sh "kubectl apply -f k8s-qa-xuegod.yaml --validate=false"
   sh "sleep 6"
   sh "kubectl get pods -n qatest"
   else 
  //exit
  
 
 stage('Promote to pro') 
  def userInput = input(
   id: 'userInput',
   message: 'Promote to pro?',
   parameters: [
     [
      $class: 'ChoiceParameterDefinition',
      choices: "YES\\nNO",
      name: 'Env'
    ]
   ]
 )
   echo "This is a deploy step to $userInput"
    if (userInput == "YES") 
     sh "sed -i 's/<BUILD_TAG>/$build_tag/' k8s-prod-xuegod.yaml"
     sh "sed -i 's/<BRANCH_NAME>/$env.BRANCH_NAME/' k8s-prod-xuegod.yaml"
    // sh "bash running-production.sh"
     sh "cat k8s-prod-xuegod.yaml"
     sh "kubectl apply -f k8s-prod-xuegod.yaml --record --validate=false"
   
  

• 应用------>保存------>立即构建
  在左侧可以看到构建任务，如下所示： 点击 Console Output，可以看到 pipeline 定义的步骤的详细信息 点击 Input request，部署应用到预生产环境

  点击 Input request，部署应用到预生产环境 

  后面的 Input request，依例都点击  yes 部署应用到预生产环境
  
  看到 Finished：SUCCESS,，说明 pipeline 构建任务完成
• 验证开发、预生产、生产环境部署的应用是否正常运行
  

• 注意集群中的每个节点都要能执行 kubectl 不然会报x509 错误
  因为是随机调度，如果节点没有 admin.conf  就会报错无法执行  kubectl apply -f
  cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

  

  

• 如果报错
  

解决方法：请修改 Pipeline script 处标签更改为自己的 dockerhub 的 username。