如何在容器场景中进行 DevOps 实践?

Posted 2021-12-17

背景知识

什么是 DevOps？

DevOps 是依靠云原生、工作流程、人员组织的整合，以协作、自动化、精益、度量、共享、文化为指引，旨在建立一种可以快速交付价值，并且具有持续改进能力的现代化 IT 组织。

不同的容器用法，DevOps 的实践方式是不一样的。

胖容器 VS 瘦容器

容器有很多用法：

把容器的 1 号进程当作你的业务进程，容器和业务进程的生命周期保持一致，显得轻量和“瘦小”，这种用法叫“瘦容器”。

把容器的 1 号进程当作是 systemd 或者 supervisord，容器和业务进程的生命周期不一致，各种运维能力（系统管理、命令执行、系统安全等）要逐步“下层”，封装成对应的 agent 部署在容器里，容器里塞满了各种运维工具，显得庞大，这种用法叫“胖容器”。

在不同的容器用法下，DevOps 实践过程面临的挑战完全不一样。

瘦容器偏向微服务的用法，可以便利地使用原生 Kubernetes 的弹性能力，比如滚动更新(RollingUpdate)、水平自动扩展(Horizontal Pod Autoscaler)。该场景实践 DevOps 比较方便，使用 CICD 工具集成 Kubernetes 后就可以实现蓝绿部署、不停机发布。

胖容器更偏向传统虚拟机器的用法，失去了原生 Kubernetes 的弹性能力，要自己提供各种“静态化”能力，比如支持容器销毁重建后 IP 保持不变、在容器里停止业务进程、更新覆盖代码、启动业务进程。该场景实践 DevOps 稍微复杂，使用 CICD 工具集成 Kubernetes 后，要自己开发工具实现应用的 AB 发布、不停机发布。

那么关于“胖/瘦容器”我们到底该如何选择呢？

“瘦容器”的实现更多是把挑战丢给了业务代码层去解决，而“胖容器”的实现往往是为了兼容用户的使用习惯，降低用户的接入成本，把挑战丢给了运维层去解决。

但不管怎么样，“胖/瘦容器”本质都是为了提升业务的稳定性和敏捷能力，如果业务改造成微服务的成本小于“胖容器”所带来的维护成本，我建议你考虑“瘦容器”的方案来实现（这一讲就选择了“瘦容器”方案）。

gitlab-ci 语法说明

它使用 yaml 语言进行描述，默认文件名为.gitlab-ci.yml，该文件默认放在仓库的根目录

其中，gitlab-ci 中最常见的三个概念是 pipeline(管道)、stage(阶段)、job(任务)。从图中我们可以看到：

pipeline 代表一次流水线实例；

stage 代表流水线的某个节点；

job 代表流水线节点下的某个任务。

 

 

DevOps 实践流程

环境准备

这里你需要准备至少 1 台 Debian9 的服务器(为了演示方便我准备了 3 台服务器)，服务器配置至少为 4core-8G 内存 -50G 硬盘。

当你已经准备好相应的服务器，并配置好了网络、APT源、主机名等基本环境，就可以按照下面的步骤开始实践了。

第一步：参考官网安装 Gitlab 服务端，这里我们选择二进制包部署，选择二进制的原因主要是方便连接后面部署的 Kubernetes 集群。

1 # 安装 Gitlab 服务
2 sudo apt-get update
3 sudo apt-get install -y curl openssh-server ca-certificates perl
4 sudo apt-get install -y postfix
5 curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ee/script.deb.sh | sudo bash
6 sudo EXTERNAL_URL="http://你的服务器IP地址:8000" apt-get install gitlab-ee
7 
8 # 获取管理员密码(24h后自动销毁)
9 cat /etc/gitlab/initial_root_password

访问 http://你服务器的IP地址:8000，使用 username 为 root 以及获取到的管理员密码，成功登录如下。

 

 第二步：参考官网安装好 gitlab-runner 服务，建议保持和 Gitlab 同个大版本。

 # 安装基本软件
 apt-get install apt-transport-https ca-certificates curl gnupg2 software-properties-common -y
 
 # 安装docker官方apt源
 curl -fsSL https://download.docker.com/linux/debian/gpg | sudo apt-key add -
 sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian $(lsb_release -cs) stable"
 
 # 安装docker-ce
 apt-get update
 apt-get install docker-ce -y
 
 # 安装gitlab-runner
 docker run -d --name gitlab-runner --restart always \\
      -v /home/gitlab-runner/config:/etc/gitlab-runner \\
      -v /var/run/docker.sock:/var/run/docker.sock \\
      gitlab/gitlab-runner:latest

第三步：参考官网(register a new runner)注册好 gitlab-runner 服务。

 docker run --rm -it -v /home/gitlab-runner/config:/etc/gitlab-runner gitlab/gitlab-runner register

在管理员界面获取到注册的 token。

 

 注册成功如下。

 

 第四步：部署 Kubernetes 环境，为了模拟生产环境来测试，建议选择 K3s 工具

 # 部署 k3s-master 节点(1 台 master 节点上执行)
 curl -sfL https://get.k3s.io | sh -
 mkdir ~/.kubecp && cp /etc/rancher/k3s/k3s.yaml .kube/config
 systemctl status k3s
 
 # 部署 k3s-agent 节点(另外 2 台 worker 节点上执行，如果只有一台测试机，此步骤不需要执行。)
 curl -sfL https://get.k3s.io | K3S_URL=https://master_server_ip:6443 K3S_TOKEN=mynodetoken sh -
 systemctl status k3s-agent
 
 # 参数说明
 K3S_URL为master节点的IP地址。
 K3S_TOKEN为master节点产生的token，token内容在master节点的/var/lib/rancher/k3s/server/node-token

看到下面的内容，代表 K3s 集群安装成功。

 # kubectl get nodes
 
 NAME        STATUS   ROLES                  AGE   VERSION
 liuyong01   Ready    control-plane,master   86m   v1.21.3+k3s1
 liuyong02   Ready    <none>                 47m   v1.21.3+k3s1
 liuyong03   Ready    <none>                 65m   v1.21.3+k3s1

第五步：集成 Gitlab 和 Kubernetes 服务，依次点击 Infrastructure——Kubernetes clusters——Add Kubernetes cluster——Add existing cluster 来到如下界面。

 

 

注意：设置 Gitlab 允许请求本地局域网服务(点击 Admin->Settings->Network->Outbound requests，勾选 Allow requests to the local network from web hooks and services )，否则会出现上图中的红色提示。

结合下面的命令和官网说明，获取相关的配置信息，点击 Add Kubernetes cluster。

 # 获取apiserver地址（填写在API URL位置）
 kubectl cluster-info | grep -E \'Kubernetes master|Kubernetes control plane\' | awk \'/http/ print $NF\'
 
 # 获取连接apiserver的ca证书（填写在CA Certificate位置）
 kubectl get secrets
 kubectl get secret default-token-xxxxx -o jsonpath="[\'data\'][\'ca\\.crt\']" | base64 --decode
 
 # 创建一个serviceaccout(gitlab)并赋予cluster-admin权限
 kubectl apply -f gitlab-admin-service-account.yaml
 
 # 获取serviceaccout(gitlab)所对应token(填写在Service Token位置)
 kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep gitlab | awk \'print $1\')

最后看到如下信息代表成功。

 

 第六步：最后我们验收一下 Gitlab、gitlab-runner 和 Kubernetes 的环境是否正常，如下所示在 runner 中认证 Kubernetes 成功。

 

 在准备好环境以后，假设我们的目标是使用Nginx部署一个拉勾教育的 Web 应用，要求使用 DevOps 的方式来实现应用的蓝绿部署( AB 切换)。那么首先就要准备好蓝绿部署所需要的容器镜像。

准备 CI 流程

一个完整的 DevOps 流水线比较复杂，比如拉取源代码——编译——单元测试——打包——上传打包制品——集成测试——应用部署——应用观测。

为了可以让你在实验环境中体验到DevOps 流水线的基本过程，所以我设计了一个简单通用的 DevOps 流水线，让你明白其中的原理。这样一来，当你面临具体的业务场景时，你就可以在这个流水线的基础上继续完善。

准备 Dockerfile 文件：

 FROM nginx:alpine
 
 COPY default.conf /etc/nginx/conf.d/default.conf
 COPY index.html /usr/share/nginx/html
 COPY health /usr/share/nginx/html
 COPY entrypoint.sh /root/entrypoint.sh
 
 ENTRYPOINT ["/bin/sh","/root/entrypoint.sh"]

准备 .gitlab-ci.yml 文件：

 image: dtzar/helm-kubectl
 
 variables:
   DOCKER_REGISTRY: docker.io
 
 before_script:
   - env
 
 after_script:
   - echo "job is done"
 
 build:
   stage: build
   image: docker:19.03.12
   variables:
     DOCKER_HOST: tcp://docker:2376  # 指定docker daemon的tls地址
     DOCKER_TLS_CERTDIR: "/certs"
     DOCKER_TLS_VERIFY: 1 # 启用TLS认证
     DOCKER_CERT_PATH: "$DOCKER_TLS_CERTDIR/client" # docker clinet认证需要的证书
   services:
     - docker:19.03.12-dind # 启用dind模式
   before_script:
     - env
     - docker info
   script:
     # login dockerhub
     - echo "docker login $DOCKER_REGISTRY"
     - docker login $DOCKER_REGISTRY -u $DOCKER_HUB_USER -p $DOCKER_HUB_PASSWD
 
     # get image url
     - REPO=`echo $CI_PROJECT_DIR | awk -F \'/\' \'print $NF\'`
     - DOCKER_REPO="$DOCKER_HUB_USER/$REPO"
     - IMAGE_TAG=$DOCKER_REGISTRY/$DOCKER_REPO:$CI_COMMIT_REF_NAME
     - IMAGE_LATEST=$DOCKER_REGISTRY/$DOCKER_REPO:latest
 
     # build docker image
     - echo "docker build -t $IMAGE_TAG"
     - cd nginx-hello-world
     - docker build --no-cache -t $IMAGE_TAG .
 
     # tag docker image
     - echo "docker tag  $IMAGE_TAG $IMAGE_LATEST"
     - docker tag  $IMAGE_TAG $IMAGE_LATEST
 
     # push docker image
     - echo "$ docker push $IMAGE_TAG"
     - docker push $IMAGE_TAG
     - echo "$ docker push $IMAGE_LATEST"
     - docker push $IMAGE_LATEST
 
     # logout dockerhub
     - docker logout $DOCKER_REGISTRY
 
 test:
   stage: test
   script:
     - echo "Do a unitest here"

使用 Gitlab的 pipeline 执行 CI 过程后，容器镜像会成功上传到 Docker Hub。

准备 CD 流程

CI 过程准备好以后，我们需要准备应用的 deployments.yaml、services.yaml、gitlab-ci.yml文件，最后将应用部署在 Kubernetes 集群中（相关配置我已经传到 Github仓库，方便你直接使用）。

准备 deployments 文件 hello-blue.yaml:

 apiVersion: apps/v1
 kind: Deployment
 metadata:
   name: hello-blue
 spec:
   replicas: 3
   selector:
     matchLabels:
       app: hello
       track: stable
   template:
     metadata:
       labels:
         app: hello
         track: stable
         version: v1.0.0
     spec:
       containers:
         - name: hello
           image: lyonger/cicd_test:v1.0.0
           imagePullPolicy: Always
           ports:
             - name: http
               containerPort: 8888
           readinessProbe:
             httpGet:
               path: /
               port: 8888
               scheme: HTTP

接下来，准备 service 文件 hello-blue.yaml:

 kind: Service
 apiVersion: v1
 metadata:
   name: "hello"
 spec:
   selector:
     app: "hello"
     version: v1.0.0
   ports:
     - protocol: "TCP"
       port: 8888
       targetPort: 8888
       nodePort: 30007
   type: NodePort

然后，准备 .gitlab-ci.yml 文件:

image: dtzar/helm-kubectl

variables:
  DOCKER_REGISTRY: docker.io

before_script:
  - env

after_script:
  - echo "job is done"

deploy_blue_app:
  stage: deploy
  environment:
    name: production
    url: https://devops.learning.lagou.com
  when: manual
  allow_failure: false
  script:
    - kubectl apply -f deployments/hello-blue.yaml

deploy_blue_svc:
  stage: deploy
  environment:
    name: production
    url: https://devops.learning.lagou.com
  when: manual
  allow_failure: false
  script:
    - kubectl apply -f services/hello-blue.yaml

deploy_green_app:
  stage: deploy
  environment:
    name: production
    url: https://devops.learning.lagou.com
  when: manual
  allow_failure: false
  script:
    - kubectl apply -f deployments/hello-green.yaml

接着部署 blue 环境，此时应用的版本是 v1.0.0：

 

 请求http://NodeIP:NodePort ，看到返回如下内容，是一个简单的负载均衡：

 curl http://10.202.6.101:30007/
 Title: Welcome to LaGou Education WebSite!
 Version: v1.0.0-blue
 hostname: hello-f6449d7cc-x5c9w
 
 curl http://10.202.6.101:30007/
 Title: Welcome to LaGou Education WebSite!
 Version: v1.0.0-blue
 hostname: hello-f6449d7cc-c2ctd
 
 curl http://10.202.6.101:30007/
 Title: Welcome to LaGou Education WebSite!
 Version: v1.0.0-blue
 hostname: hello-f6449d7cc-kxjgt

蓝绿发布

为了线上服务的稳定，要尽可能降低应用的不可用时间，一般采用蓝绿发布方式来实现，在切换到 v2.0.0 之前，我们先来了解一下蓝绿发布背后的实现原理。

 

 如上图，切换之前 Service 将所有流量代理到 v1.0.0，切换之后 Service 将所有流量代理到v2.0.0，虚线处已经不存在任何流量，接下来我们来尝试一下切换到 v2.0.0。

 

 先点击 deploy_green_app 将应用部署到新版本 v2.0.0，此时线上无法访问到 v2.0.0，最后点击 deploy_green_svc 切换所有流量到 v2.0.0，尝试请求http://NodeIP:NodePort ，看到只返回 v2.0.0的内容。

 curl http://10.202.6.101:30007/
 Title: Welcome to LaGou Education WebSite!
 Version: v2.0.0-green
 hostname: hello-green-58bf975df-k94j9
 
 curl http://10.202.6.101:30007/
 Title: Welcome to LaGou Education WebSite!
 Version: v2.0.0-green
 hostname: hello-green-58bf975df-qnxsj
 
 curl http://10.202.6.101:30007/
 Title: Welcome to LaGou Education WebSite!
 Version: v2.0.0-green
 hostname: hello-green-58bf975df-q546j

最后完整的 DevOps 实践效果如下：

 

 你要注意，线上在执行完成 deploy_green_app 之后需要经过充分测试，测试符合预期后再执行 deploy_green_svc 切换所有流量到新版本。