如何在容器场景中进行 DevOps 实践?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何在容器场景中进行 DevOps 实践?相关的知识,希望对你有一定的参考价值。

背景知识

什么是 DevOps?

DevOps 是依靠云原生、工作流程、人员组织的整合,以协作、自动化、精益、度量、共享、文化为指引,旨在建立一种可以快速交付价值,并且具有持续改进能力的现代化 IT 组织。

不同的容器用法,DevOps 的实践方式是不一样的。

胖容器 VS 瘦容器

容器有很多用法:

把容器的 1 号进程当作你的业务进程,容器和业务进程的生命周期保持一致,显得轻量和“瘦小”,这种用法叫“瘦容器”。

把容器的 1 号进程当作是 systemd 或者 supervisord,容器和业务进程的生命周期不一致,各种运维能力(系统管理、命令执行、系统安全等)要逐步“下层”,封装成对应的 agent 部署在容器里,容器里塞满了各种运维工具,显得庞大,这种用法叫“胖容器”。

在不同的容器用法下,DevOps 实践过程面临的挑战完全不一样。

瘦容器偏向微服务的用法,可以便利地使用原生 Kubernetes 的弹性能力,比如滚动更新(RollingUpdate)、水平自动扩展(Horizontal Pod Autoscaler)。该场景实践 DevOps 比较方便,使用 CICD 工具集成 Kubernetes 后就可以实现蓝绿部署、不停机发布。

胖容器更偏向传统虚拟机器的用法,失去了原生 Kubernetes 的弹性能力,要自己提供各种“静态化”能力,比如支持容器销毁重建后 IP 保持不变、在容器里停止业务进程、更新覆盖代码、启动业务进程。该场景实践 DevOps 稍微复杂,使用 CICD 工具集成 Kubernetes 后,要自己开发工具实现应用的 AB 发布、不停机发布。

那么关于“胖/瘦容器”我们到底该如何选择呢?

“瘦容器”的实现更多是把挑战丢给了业务代码层去解决,而“胖容器”的实现往往是为了兼容用户的使用习惯,降低用户的接入成本,把挑战丢给了运维层去解决。

但不管怎么样,“胖/瘦容器”本质都是为了提升业务的稳定性和敏捷能力,如果业务改造成微服务的成本小于“胖容器”所带来的维护成本,我建议你考虑“瘦容器”的方案来实现(这一讲就选择了“瘦容器”方案)。

gitlab-ci 语法说明

它使用 yaml 语言进行描述,默认文件名为.gitlab-ci.yml,该文件默认放在仓库的根目录

其中,gitlab-ci 中最常见的三个概念是 pipeline(管道)、stage(阶段)、job(任务)。从图中我们可以看到:

pipeline 代表一次流水线实例;

stage 代表流水线的某个节点;

job 代表流水线节点下的某个任务。

 

 

DevOps 实践流程

环境准备

这里你需要准备至少 1 台 Debian9 的服务器(为了演示方便我准备了 3 台服务器),服务器配置至少为 4core-8G 内存 -50G 硬盘。

当你已经准备好相应的服务器,并配置好了网络、APT源、主机名等基本环境,就可以按照下面的步骤开始实践了。

第一步:参考官网安装 Gitlab 服务端,这里我们选择二进制包部署,选择二进制的原因主要是方便连接后面部署的 Kubernetes 集群。

1 # 安装 Gitlab 服务
2 sudo apt-get update
3 sudo apt-get install -y curl openssh-server ca-certificates perl
4 sudo apt-get install -y postfix
5 curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ee/script.deb.sh | sudo bash
6 sudo EXTERNAL_URL="http://你的服务器IP地址:8000" apt-get install gitlab-ee
7 
8 # 获取管理员密码(24h后自动销毁)
9 cat /etc/gitlab/initial_root_password

访问 http://你服务器的IP地址:8000,使用 username 为 root 以及获取到的管理员密码,成功登录如下。

 

 第二步:参考官网安装好 gitlab-runner 服务,建议保持和 Gitlab 同个大版本。

 # 安装基本软件
 apt-get install apt-transport-https ca-certificates curl gnupg2 software-properties-common -y
 
 # 安装docker官方apt源
 curl -fsSL https://download.docker.com/linux/debian/gpg | sudo apt-key add -
 sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian $(lsb_release -cs) stable"
 
 # 安装docker-ce
 apt-get update
 apt-get install docker-ce -y
 
 # 安装gitlab-runner
 docker run -d --name gitlab-runner --restart always \\
      -v /home/gitlab-runner/config:/etc/gitlab-runner \\
      -v /var/run/docker.sock:/var/run/docker.sock \\
      gitlab/gitlab-runner:latest

第三步:参考官网(register a new runner)注册好 gitlab-runner 服务。

 docker run --rm -it -v /home/gitlab-runner/config:/etc/gitlab-runner gitlab/gitlab-runner register

在管理员界面获取到注册的 token。

 

 注册成功如下。

 

 第四步:部署 Kubernetes 环境,为了模拟生产环境来测试,建议选择 K3s 工具

 # 部署 k3s-master 节点(1 台 master 节点上执行)
 curl -sfL https://get.k3s.io | sh -
 mkdir ~/.kubecp && cp /etc/rancher/k3s/k3s.yaml .kube/config
 systemctl status k3s
 
 # 部署 k3s-agent 节点(另外 2 台 worker 节点上执行,如果只有一台测试机,此步骤不需要执行。)
 curl -sfL https://get.k3s.io | K3S_URL=https://master_server_ip:6443 K3S_TOKEN=mynodetoken sh -
 systemctl status k3s-agent
 
 # 参数说明
 K3S_URL为master节点的IP地址。
 K3S_TOKEN为master节点产生的token,token内容在master节点的/var/lib/rancher/k3s/server/node-token

看到下面的内容,代表 K3s 集群安装成功。

 # kubectl get nodes
 
 NAME        STATUS   ROLES                  AGE   VERSION
 liuyong01   Ready    control-plane,master   86m   v1.21.3+k3s1
 liuyong02   Ready    <none>                 47m   v1.21.3+k3s1
 liuyong03   Ready    <none>                 65m   v1.21.3+k3s1

第五步:集成 Gitlab 和 Kubernetes 服务,依次点击 Infrastructure——Kubernetes clusters——Add Kubernetes cluster——Add existing cluster 来到如下界面。

 

 

注意:设置 Gitlab 允许请求本地局域网服务(点击 Admin->Settings->Network->Outbound requests,勾选 Allow requests to the local network from web hooks and services ),否则会出现上图中的红色提示。

结合下面的命令和官网说明,获取相关的配置信息,点击 Add Kubernetes cluster。

 # 获取apiserver地址(填写在API URL位置)
 kubectl cluster-info | grep -E \'Kubernetes master|Kubernetes control plane\' | awk \'/http/ print $NF\'
 
 # 获取连接apiserver的ca证书(填写在CA Certificate位置)
 kubectl get secrets
 kubectl get secret default-token-xxxxx -o jsonpath="[\'data\'][\'ca\\.crt\']" | base64 --decode
 
 # 创建一个serviceaccout(gitlab)并赋予cluster-admin权限
 kubectl apply -f gitlab-admin-service-account.yaml
 
 # 获取serviceaccout(gitlab)所对应token(填写在Service Token位置)
 kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep gitlab | awk \'print $1\')

最后看到如下信息代表成功。

 

 第六步:最后我们验收一下 Gitlab、gitlab-runner 和 Kubernetes 的环境是否正常,如下所示在 runner 中认证 Kubernetes 成功。

 

 在准备好环境以后,假设我们的目标是使用Nginx部署一个拉勾教育的 Web 应用,要求使用 DevOps 的方式来实现应用的蓝绿部署( AB 切换)。那么首先就要准备好蓝绿部署所需要的容器镜像。

准备 CI 流程

一个完整的 DevOps 流水线比较复杂,比如拉取源代码——编译——单元测试——打包——上传打包制品——集成测试——应用部署——应用观测。

为了可以让你在实验环境中体验到DevOps 流水线的基本过程,所以我设计了一个简单通用的 DevOps 流水线,让你明白其中的原理。这样一来,当你面临具体的业务场景时,你就可以在这个流水线的基础上继续完善。

准备 Dockerfile 文件:

 FROM nginx:alpine
 
 COPY default.conf /etc/nginx/conf.d/default.conf
 COPY index.html /usr/share/nginx/html
 COPY health /usr/share/nginx/html
 COPY entrypoint.sh /root/entrypoint.sh
 
 ENTRYPOINT ["/bin/sh","/root/entrypoint.sh"]

准备 .gitlab-ci.yml 文件:

 image: dtzar/helm-kubectl
 
 variables:
   DOCKER_REGISTRY: docker.io
 
 before_script:
   - env
 
 after_script:
   - echo "job is done"
 
 build:
   stage: build
   image: docker:19.03.12
   variables:
     DOCKER_HOST: tcp://docker:2376  # 指定docker daemon的tls地址
     DOCKER_TLS_CERTDIR: "/certs"
     DOCKER_TLS_VERIFY: 1 # 启用TLS认证
     DOCKER_CERT_PATH: "$DOCKER_TLS_CERTDIR/client" # docker clinet认证需要的证书
   services:
     - docker:19.03.12-dind # 启用dind模式
   before_script:
     - env
     - docker info
   script:
     # login dockerhub
     - echo "docker login $DOCKER_REGISTRY"
     - docker login $DOCKER_REGISTRY -u $DOCKER_HUB_USER -p $DOCKER_HUB_PASSWD
 
     # get image url
     - REPO=`echo $CI_PROJECT_DIR | awk -F \'/\' \'print $NF\'`
     - DOCKER_REPO="$DOCKER_HUB_USER/$REPO"
     - IMAGE_TAG=$DOCKER_REGISTRY/$DOCKER_REPO:$CI_COMMIT_REF_NAME
     - IMAGE_LATEST=$DOCKER_REGISTRY/$DOCKER_REPO:latest
 
     # build docker image
     - echo "docker build -t $IMAGE_TAG"
     - cd nginx-hello-world
     - docker build --no-cache -t $IMAGE_TAG .
 
     # tag docker image
     - echo "docker tag  $IMAGE_TAG $IMAGE_LATEST"
     - docker tag  $IMAGE_TAG $IMAGE_LATEST
 
     # push docker image
     - echo "$ docker push $IMAGE_TAG"
     - docker push $IMAGE_TAG
     - echo "$ docker push $IMAGE_LATEST"
     - docker push $IMAGE_LATEST
 
     # logout dockerhub
     - docker logout $DOCKER_REGISTRY
 
 test:
   stage: test
   script:
     - echo "Do a unitest here"

使用 Gitlab的 pipeline 执行 CI 过程后,容器镜像会成功上传到 Docker Hub。

准备 CD 流程

CI 过程准备好以后,我们需要准备应用的 deployments.yaml、services.yaml、gitlab-ci.yml文件,最后将应用部署在 Kubernetes 集群中(相关配置我已经传到 Github仓库,方便你直接使用)。

准备 deployments 文件 hello-blue.yaml:

 apiVersion: apps/v1
 kind: Deployment
 metadata:
   name: hello-blue
 spec:
   replicas: 3
   selector:
     matchLabels:
       app: hello
       track: stable
   template:
     metadata:
       labels:
         app: hello
         track: stable
         version: v1.0.0
     spec:
       containers:
         - name: hello
           image: lyonger/cicd_test:v1.0.0
           imagePullPolicy: Always
           ports:
             - name: http
               containerPort: 8888
           readinessProbe:
             httpGet:
               path: /
               port: 8888
               scheme: HTTP

接下来,准备 service 文件 hello-blue.yaml:

 kind: Service
 apiVersion: v1
 metadata:
   name: "hello"
 spec:
   selector:
     app: "hello"
     version: v1.0.0
   ports:
     - protocol: "TCP"
       port: 8888
       targetPort: 8888
       nodePort: 30007
   type: NodePort

然后,准备 .gitlab-ci.yml 文件:

image: dtzar/helm-kubectl

variables:
  DOCKER_REGISTRY: docker.io

before_script:
  - env

after_script:
  - echo "job is done"

deploy_blue_app:
  stage: deploy
  environment:
    name: production
    url: https://devops.learning.lagou.com
  when: manual
  allow_failure: false
  script:
    - kubectl apply -f deployments/hello-blue.yaml

deploy_blue_svc:
  stage: deploy
  environment:
    name: production
    url: https://devops.learning.lagou.com
  when: manual
  allow_failure: false
  script:
    - kubectl apply -f services/hello-blue.yaml

deploy_green_app:
  stage: deploy
  environment:
    name: production
    url: https://devops.learning.lagou.com
  when: manual
  allow_failure: false
  script:
    - kubectl apply -f deployments/hello-green.yaml

接着部署 blue 环境,此时应用的版本是 v1.0.0:

 

 请求http://NodeIP:NodePort ,看到返回如下内容,是一个简单的负载均衡:

 curl http://10.202.6.101:30007/
 Title: Welcome to LaGou Education WebSite!
 Version: v1.0.0-blue
 hostname: hello-f6449d7cc-x5c9w
 
 curl http://10.202.6.101:30007/
 Title: Welcome to LaGou Education WebSite!
 Version: v1.0.0-blue
 hostname: hello-f6449d7cc-c2ctd
 
 curl http://10.202.6.101:30007/
 Title: Welcome to LaGou Education WebSite!
 Version: v1.0.0-blue
 hostname: hello-f6449d7cc-kxjgt

蓝绿发布

为了线上服务的稳定,要尽可能降低应用的不可用时间,一般采用蓝绿发布方式来实现,在切换到 v2.0.0 之前,我们先来了解一下蓝绿发布背后的实现原理。

 

 如上图,切换之前 Service 将所有流量代理到 v1.0.0,切换之后 Service 将所有流量代理到v2.0.0,虚线处已经不存在任何流量,接下来我们来尝试一下切换到 v2.0.0。

 

 先点击 deploy_green_app 将应用部署到新版本 v2.0.0,此时线上无法访问到 v2.0.0,最后点击 deploy_green_svc 切换所有流量到 v2.0.0,尝试请求http://NodeIP:NodePort ,看到只返回 v2.0.0的内容。

 curl http://10.202.6.101:30007/
 Title: Welcome to LaGou Education WebSite!
 Version: v2.0.0-green
 hostname: hello-green-58bf975df-k94j9
 
 curl http://10.202.6.101:30007/
 Title: Welcome to LaGou Education WebSite!
 Version: v2.0.0-green
 hostname: hello-green-58bf975df-qnxsj
 
 curl http://10.202.6.101:30007/
 Title: Welcome to LaGou Education WebSite!
 Version: v2.0.0-green
 hostname: hello-green-58bf975df-q546j

最后完整的 DevOps 实践效果如下:

 

 你要注意,线上在执行完成 deploy_green_app 之后需要经过充分测试,测试符合预期后再执行 deploy_green_svc 切换所有流量到新版本。

 

以上是关于如何在容器场景中进行 DevOps 实践?的主要内容,如果未能解决你的问题,请参考以下文章

ML.NET机器学习API容器化与Azure DevOps实践:RESTful API

如何向公司说明 DevOps 的好处?基于容器的 DevOps 项目需要哪些平台和人员?

容器技术与DevOps

容器技术与DevOps

猪八戒网DevOps容器云与流水线

云原生devops实践