Helm

Posted yuezhimi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Helm相关的知识,希望对你有一定的参考价值。

为什么需要Helm?

K8S上的应用对象,都是由特定的资源描述组成,包括deployment、service等。都保存各自文件中或者集中写到一个配置文件。然后kubectl apply –f 部署。

如果应用只由一个或几个这样的服务组成,上面部署方式足够了。

而对于一个复杂的应用,会有很多类似上面的资源描述文件,例如微服务架构应用,组成应用的服务可能多达十个,几十个。如果有更新或回滚应用的需求,可能要修改和维护所涉及的大量资源文件,而这种组织和管理应用的方式就显得力不从心了。

且由于缺少对发布过的应用版本管理和控制,使Kubernetes上的应用维护和更新等面临诸多的挑战,主要面临以下问题:

  1. 如何将这些服务作为一个整体管理

  2. 这些资源文件如何高效复用

  3. 不支持应用级别的版本管理

Helm 介绍

Helm是一个Kubernetes的包管理工具,就像Linux下的包管理器,如yum/apt等,可以很方便的将之前打包好的yaml文件部署到kubernetes上。

Helm有3个重要概念:

  • helm:一个命令行客户端工具,主要用于Kubernetes应用chart的创建、打包、发布和管理。

  • Chart:应用描述,一系列用于描述 k8s 资源相关文件的集合。

  • Release:基于Chart的部署实体,一个 chart 被 Helm 运行后将会生成对应的一个 release;将在k8s中创建出真实运行的资源对象。

Helm v3 变化

2019年11月13日, Helm团队发布 Helm v3的第一个稳定版本。

该版本主要变化如下:

架构变化:

1、最明显的变化是 Tiller的删除

 

技术图片

2、Release名称可以在不同命名空间重用

3、支持将 Chart 推送至 Docker 镜像仓库中

4、使用JSONSchema验证chart values

5、其他

Helm客户端
部署helm客户端

Helm客户端下载地址:https://github.com/helm/helm/releases

解压移动到/usr/bin/目录即可。

wget https://get.helm.sh/helm-vv3.2.1-linux-amd64.tar.gz
tar zxvf helm-v3.2.1-linux-amd64.tar.gz 
mv linux-amd64/helm /usr/bin/

helm常用命令

命令描述
create 创建一个chart并指定名字
dependency 管理chart依赖
get 下载一个release。可用子命令:all、hooks、manifest、notes、values
history 获取release历史
install 安装一个chart
list 列出release
package 将chart目录打包到chart存档文件中
pull 从远程仓库中下载chart并解压到本地 # helm pull stable/mysql --untar
repo 添加,列出,移除,更新和索引chart仓库。可用子命令:add、index、list、remove、update
rollback 从之前版本回滚
search 根据关键字搜索chart。可用子命令:hub、repo
show 查看chart详细信息。可用子命令:all、chart、readme、values
status 显示已命名版本的状态
template 本地呈现模板
uninstall 卸载一个release
upgrade 更新一个release
version

查看helm客户端版本

配置国内chart仓库

添加存储库

helm repo add stable http://mirror.azure.cn/kubernetes/charts
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts 
helm repo update

查看配置的存储库

helm repo list
helm search repo stable

删除存储库:

helm repo remove aliyun
helm基本使用

主要介绍三个命令:

  • chart install

  • chart upgrade

  • chart rollback

使用chart部署一个应用
#查找chart
# helm search repo weave
NAME                  CHART VERSION    APP VERSION    DESCRIPTION                                       
aliyun/weave-cloud    0.1.2                           Weave Cloud is a add-on to Kubernetes which pro...
aliyun/weave-scope    0.9.2            1.6.5          A Helm chart for the Weave Scope cluster visual...
stable/weave-cloud    0.3.7            1.4.0          Weave Cloud is a add-on to Kubernetes which pro...
stable/weave-scope    1.1.10           1.12.0         A Helm chart for the Weave Scope cluster visual...

#查看chrt信息
# helm show chart stable/mysql

#安装包
# helm install ui stable/weave-scope

#查看发布状态
# helm list
NAME    NAMESPACE    REVISION    UPDATED                                    STATUS      CHART                 APP VERSION
ui      default      1           2020-05-28 17:45:01.696109626 +0800 CST    deployed    weave-scope-1.1.10    1.12.0     
[root@k8s-master ~]# helm status ui
NAME: ui
LAST DEPLOYED: Thu May 28 17:45:01 2020
NAMESPACE: default
STATUS: deployed
REVISION: 1
NOTES:
You should now be able to access the Scope frontend in your web browser, by
using kubectl port-forward:

kubectl -n default port-forward $(kubectl -n default get endpoints ui-weave-scope -o jsonpath={.subsets[0].addresses[0].targetRef.name}) 8080:4040

then browsing to http://localhost:8080/.
For more details on using Weave Scope, see the Weave Scope documentation:

https://www.weave.works/docs/scope/latest/introducing/

#修改service Type: NodePort 即可访问ui
安装前自定义chart配置选项

自定义选项是因为并不是所有的chart都能按照默认配置运行成功,可能会需要一些环境依赖,例如PV。

所以我们需要自定义chart配置选项,安装过程中有两种方法可以传递配置数据:

  • --values(或-f):指定带有覆盖的YAML文件。这可以多次指定,最右边的文件优先

  • --set:在命令行上指定替代。如果两者都用,--set优先级高

--values使用,先将修改的变量写到一个文件中

# helm show values stable/mysql
# cat config.yaml 
persistence:
  enabled: true
  storageClass: "managed-nfs-storage"
  accessMode: ReadWriteOnce
  size: 8Gi
mysqlUser: "k8s"
mysqlPassword: "123456"
mysqlDatabase: "k8s"
# helm install db -f config.yaml stable/mysql
# kubectl get pods
NAME                                      READY   STATUS    RESTARTS   AGE
db-mysql-57485b68dc-4xjhv                 1/1     Running   0          8m51s

# kubectl run -it db-client --rm --restart=Never --image=mysql:5.7 -- bash
If you dont see a command prompt, try pressing enter.
root@db-client:/# mysql -hdb-mysql -uk8s -p123456
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or g.
Your MySQL connection id is 36
Server version: 5.7.30 MySQL Community Server (GPL)

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type help; or h for help. Type c to clear the current input statement.
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| k8s                |
+--------------------+

以上将创建具有名称的默认MySQL用户k8s,并授予此用户访问新创建的k8s数据库的权限,但将接受该图表的所有其余默认值。

命令行替代变量:

# helm install db --set persistence.storageClass="managed-nfs-storage" stable/mysql

也可以把chart包下载下来查看详情:

# helm pull stable/mysql --untar

values yaml与set使用:

 技术图片

该helm install命令可以从多个来源安装:

构建一个Helm Chart

# helm create mychart
Creating mychart
# tree mychart/
mychart/
├── charts
├── Chart.yaml
├── templates
│   ├── deployment.yaml
│   ├── _helpers.tpl
│   ├── ingress.yaml
│   ├── NOTES.txt
│   └── service.yaml
└── values.yaml
  • Chart.yaml:用于描述这个 Chart的基本信息,包括名字、描述信息以及版本等。

  • values.yaml :用于存储 templates 目录中模板文件中用到变量的值。

  • Templates: 目录里面存放所有yaml模板文件。

  • charts:目录里存放这个chart依赖的所有子chart。

  • NOTES.txt :用于介绍Chart帮助信息, helm install 部署后展示给用户。例如:如何使用这个 Chart、列出缺省的设置等。

  • _helpers.tpl:放置模板助手的地方,可以在整个 chart 中重复使用

创建Chart后,接下来就是将其部署:

helm install web mychart/

也可以打包推送的charts仓库共享别人使用。

# helm package mychart/
mychart-0.1.0.tgz
chart模板

Helm最核心的就是模板,即模板化的K8S manifests文件。

它本质上就是一个Go的template模板。Helm在Go template模板的基础上,还会增加很多东西。如一些自定义的元数据信息、扩展的库以及一些类似于编程形式的工作流,例如条件语句、管道等等。这些东西都会使得我们的模板变得更加丰富。

有了模板,我们怎么把我们的配置融入进去呢?用的就是这个values文件。这两部分内容其实就是chart的核心功能。

接下来,部署nginx应用,熟悉模板使用

# helm create nginx
# vim nginx/Chart.yaml 
apiVersion: v2
name: nginx
description: A Helm chart for Kubernetes
type: application
version: 0.1.0
appVersion: 1.15

# vim nginx/values.yaml
replicas: 3
image: nginx
tag: 1.15
serviceport: 80
targetport: 80
label: nginx

# vim nginx/templates/NOTES.txt 
hello

# vim nginx/templates/deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: {{ .Values.label }}
  name: {{ .Release.Name }}
spec:
  replicas: {{ .Values.replicas }}
  selector:
    matchLabels:
      app: {{ .Values.label }}
  template:
    metadata:
      labels:
        app: {{ .Values.label }}
    spec:
      containers:
      - image: {{ .Values.image }}:{{ .Values.tag }}
        name: web

# vim nginx/templates/service.yaml 
apiVersion: v1
kind: Service
metadata:
  labels:
    app: {{ .Values.label }}
  name: {{ .Release.Name }}
spec:
  ports:
  - port: {{ .Values.serviceport }}
    protocol: TCP
    targetPort: {{ .Values.targetport }}
  selector:
    app: {{ .Values.label }}
  type: NodePort

#查看实际的模板被渲染过后的资源文件
# helm get manifest web
# helm install web nginx/
NAME: web
LAST DEPLOYED: Fri May 29 16:09:46 2020
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
hello
# helm list
NAME    NAMESPACE    REVISION    UPDATED                                    STATUS      CHART          APP VERSION
web     default      1           2020-05-29 16:09:46.608457282 +0800 CST    deployed    nginx-0.1.0    1.15
# kubectl get pod
NAME                                      READY   STATUS    RESTARTS   AGE
web-5675686b8-7wtqk                       1/1     Running   0          25s
web-5675686b8-f72hk                       1/1     Running   0          25s
web-5675686b8-k4kqr                       1/1     Running   0          25s

这个deployment就是一个Go template的模板,这里定义的Release模板对象属于Helm内置的一种对象,是从values文件中读取出来的。这样一来,我们可以将需要变化的地方都定义变量。

调试

Helm也提供了--dry-run --debug调试参数,帮助你验证模板正确性。在执行helm install时候带上这两个参数就可以把对应的values值和渲染的资源清单打印出来,而不会真正的去部署一个release。

比如我们来调试上面创建的 chart 包:

# helm install web --dry-run nginx/
内置对象

刚刚我们使用 {{.Release.Name}}将 release 的名称插入到模板中。这里的 Release 就是 Helm 的内置对象,下面是一些常用的内置对象:

Release.Namerelease 名称
Release.Name release 名字
Release.Namespace release 命名空间
Release.Service release 服务的名称
Release.Revision release 修订版本号,从1开始累加
Values

Values对象是为Chart模板提供值,这个对象的值有4个来源:

  • chart 包中的 values.yaml 文件

  • 父 chart 包的 values.yaml 文件

  • 通过 helm install 或者 helm upgrade 的 -f或者 --values参数传入的自定义的 yaml 文件

  • 通过 --set 参数传入的值

chart 的 values.yaml 提供的值可以被用户提供的 values 文件覆盖,而该文件同样可以被 --set提供的参数所覆盖。

# helm upgrade web --set replicas=5 nginx/
Release "web" has been upgraded. Happy Helming!
NAME: web
LAST DEPLOYED: Fri May 29 16:34:17 2020
NAMESPACE: default
STATUS: deployed
REVISION: 2
TEST SUITE: None
NOTES:
hello

# helm history web
REVISION    UPDATED                     STATUS        CHART          APP VERSION    DESCRIPTION     
1           Fri May 29 16:33:56 2020    superseded    nginx-0.1.0    1.15           Install complete
2           Fri May 29 16:34:17 2020    deployed      nginx-0.1.0    1.15           Upgrade complete

# kubectl get pod
NAME                                      READY   STATUS    RESTARTS   AGE
web-5675686b8-7n7bg                       1/1     Running   0          54s
web-5675686b8-9vf28                       1/1     Running   0          33s
web-5675686b8-9wkgz                       1/1     Running   0          54s
web-5675686b8-jdrhr                       1/1     Running   0          54s
web-5675686b8-rrrxc                       1/1     Running   0          33s
升级、回滚和删除

发布新版本的chart时,或者当您要更改发布的配置时,可以使用该helm upgrade 命令。

# helm upgrade --set imageTag=1.17 web nginx
# helm upgrade -f values.yaml web nginx

如果在发布后没有达到预期的效果,则可以使用helm rollback回滚到之前的版本。

例如将应用回滚到第一个版本:

# helm rollback web 1

卸载发行版,请使用以下helm uninstall命令:

# helm uninstall web

查看历史版本配置信息

# helm get all --revision 1 web
 管道与函数

前面讲的模块,其实就是将值传给模板引擎进行渲染,模板引擎还支持对拿到数据进行二次处理。

例如从.Values中读取的值变成字符串,可以使用quote函数实现:

# vi templates/deployment.yaml
app: {{ quote .Values.label.app }}
# helm install --dry-run web ../mychart/ 
        project: ms
        app: "nginx"

quote .Values.label.app 将后面的值作为参数传递给quote函数。

模板函数调用语法为:functionName arg1 arg2...

另外还会经常使用一个default函数,该函数允许在模板中指定默认值,以防止该值被忽略掉。

例如忘记定义,执行helm install 会因为缺少字段无法创建资源,这时就可以定义一个默认值。

# cat values.yaml 
replicas: 2
# cat templates/deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Release.Name }}-deployment
- name: {{ .Values.name | default "nginx" }}

其他函数:

缩进:{{ .Values.resources | indent 12 }}

大写:{{ upper .Values.resources }}

首字母大写:{{ title .Values.resources }}

流程控制

流程控制是为模板提供了一种能力,满足更复杂的数据逻辑处理。

Helm模板语言提供以下流程控制语句:

  • if/else 条件块

  • with 指定范围

  • range 循环块

if

if/else块是用于在模板中有条件地包含文本块的方法,条件块的基本结构如下:

{{ if PIPELINE }}
  # Do something
{{ else if OTHER PIPELINE }}
  # Do something else
{{ else }}
  # Default case
{{ end }}

示例

# cat values.yaml 
devops: k8

# cat templates/deployment.yaml 
...
  template:
    metadata:
      labels:
        app: nginx
        {{ if eq .Values.devops "k8s" }}
        devops: 123
        {{ else }}
        devops: 456
        {{ end }}

在上面条件语句使用了eq运算符判断是否相等,除此之外,还支持neltgtandor等运算符。

注意数据类型。

通过模板引擎来渲染一下,会得到如下结果:

# helm install --dry-run web ../mychart/ 
...
      labels:
        app: nginx
        
        devops: 456

可以看到渲染出来会有多余的空行,这是因为当模板引擎运行时,会将控制指令删除,所有之前占的位置也就空白了,需要使用{{- if ...}} 的方式消除此空行:

# cat templates/deploymemt.yaml
...
        env:
        {{- if eq .Values.env.hello "world" }}
          - name: hello
            value: 123
        {{- end }}

现在是不是没有多余的空格了,如果使用-}}需谨慎,比如上面模板文件中:

# cat templates/deploymemt.yaml
...
       env:
        {{- if eq .Values.env.hello "world" -}}
           - hello: true
        {{- end }}

这会渲染成:

        env:- hello: true

因为-}}它删除了双方的换行符。

条件判断就是判断条件是否为真,如果值为以下几种情况则为false:

  • 一个布尔类型的 false

  • 一个数字

  • 一个 的字符串

  • 一个空的集合( mapslicetupledictarray

除了上面的这些情况外,其他所有条件都为

例如,判断一个空的数组

# cat values.yaml 
resources: {}
  # limits:
  #   cpu: 100m
  #   memory: 128Mi
  # requests:
  #   cpu: 100m
  #   memory: 128Mi

# cat templates/deploymemt.yaml
...
    spec:
      containers:
      - image: nginx:1.16
        name: nginx
        {{- if .Values.resources }}
        resources:
{{ toYaml .Values.resources | indent 10 }}
        {{- end }}

例如,判断一个布尔值

# cat values.yaml 
service:
  type: ClusterIP
  port: 80

ingress:
  enabled: true 
  host: example.ctnrs.com

# cat templates/ingress.yaml 
{{- if .Values.ingress.enabled -}}
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: {{ .Release.Name }}-ingress
spec:
  rules:
  - host: {{ .Values.ingress.host }}
    http:
      paths:
      - path: /
        backend:
          serviceName: {{ .Release.Name }}
          servicePort: {{ .Values.service.port }}
{{ end }}
range

在 Helm 模板语言中,使用 range关键字来进行循环操作。

我们在 values.yaml文件中添加上一个变量列表:

# cat values.yaml 
test:
  - 1
  - 2
  - 3

循环打印该列表:

apiVersion: v1
kind: ConfigMap
metadata:
  name: {{ .Release.Name }}
data:
  test: |
  {{- range .Values.test }}
    {{ . }}
  {{- end }}

循环内部我们使用的是一个 .,这是因为当前的作用域就在当前循环内,这个 .引用的当前读取的元素。

with

with :控制变量作用域。

还记得之前我们的 {{.Release.xxx}}或者 {{.Values.xxx}}吗?其中的 .就是表示对当前范围的引用, .Values就是告诉模板在当前范围中查找 Values对象的值。而 with语句就可以来控制变量的作用域范围,其语法和一个简单的 if语句比较类似:

{{ with PIPELINE }}
  #  restricted scope
{{ end }}

with语句可以允许将当前范围 .设置为特定的对象,比如我们前面一直使用的 .Values.label,我们可以使用 with来将 .范围指向 .Values.label

# cat values.yaml 
...
nodeSelector:
  team: a
  gpu: yes

# cat templates/deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Release.Name }}-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      {{- with .Values.nodeSelector }}
      nodeSelector:
        team: {{ .team }}
        gpu: {{ .gpu }}
      {{- end }}
      containers:
      - image: nginx:1.16
        name: nginx

优化后:

      {{- with .Values.nodeSelector }}
      nodeSelector:
        {{- toYaml . | nindent 8 }}
      {{- end }}

上面增加了一个{{- with .Values.nodeSelector}} xxx {{- end }}的一个块,这样的话就可以在当前的块里面直接引用 .team.gpu了。

with是一个循环构造。使用.Values.nodeSelector中的值:将其转换为Yaml。

toYaml之后的点是循环中.Values.nodeSelector的当前值

变量

变量,在模板中,使用变量的场合不多,但我们将看到如何使用它来简化代码,并更好地利用with和range。

 

问题1:获取数组键值

# cat ../values.yaml
env:
  NAME: "gateway"
  JAVA_OPTS: "-Xmx1G"
  
# cat deployment.yaml 
...
        env:
        {{- range $k, $v := .Values.env }}
           - name: {{ $k }}
             value: {{ $v | quote }}
        {{- end }}

结果如下

    env:
       - name: JAVA_OPTS
         value: "-Xmx1G"
       - name: NAME
         value: "gateway"

上面在 range循环中使用 $key$value两个变量来接收后面列表循环的键和值

问题2:with中不能使用内置对象

with语句块内不能再 .Release.Name对象,否则报错。

我们可以将该对象赋值给一个变量可以来解决这个问题:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Release.Name }}-deployment
spec:
  replicas: {{ .Values.replicas }}
  template:
    metadata:
      labels:
        project: {{ .Values.label.project }}
        app: {{ quote .Values.label.app }}
      {{- with .Values.label }}
        project: {{ .project }}
        app: {{ .app }}
        release: {{ .Release.Name }}
      {{- end }}

上面会出错

      {{- $releaseName := .Release.Name -}}
      {{- with .Values.label }}
        project: {{ .project }}
        app: {{ .app }}
        release: {{ $releaseName }}
        # 或者可以使用$符号,引入全局命名空间
        release: {{ $.Release.Name }}
      {{- end }}

可以看到在 with语句上面增加了一句 {{-$releaseName:=.Release.Name-}},其中 $releaseName就是后面的对象的一个引用变量,它的形式就是 $name,赋值操作使用 :=,这样 with语句块内部的 $releaseName变量仍然指向的是 .Release.Name

命名模板

需要复用代码的地方用。

命名模板:使用define定义,template引入,在templates目录中默认下划线开头的文件为公共模板(helpers.tpl)

# cat _helpers.tpl
{{- define "demo.fullname" -}}
{{- .Chart.Name -}}-{{ .Release.Name }}
{{- end -}}

# cat deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ template "demo.fullname" . }}
...

template指令是将一个模板包含在另一个模板中的方法。但是,template函数不能用于Go模板管道。为了解决该问题,增加include功能。

# cat _helpers.tpl
{{- define "demo.labels" -}}
app: {{ template "demo.fullname" . }}
chart: "{{ .Chart.Name }}-{{ .Chart.Version }}"
release: "{{ .Release.Name }}"
{{- end -}}

# cat deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ include "demo.fullname" . }}
  labels:
    {{- include "demo.labels" . | nindent 4 }}
...

上面包含一个名为 demo.labels 的模板,然后将值 . 传递给模板,最后将该模板的输出传递给 nindent 函数。

开发自己的chart

1、先创建模板

2、修改Chart.yaml,Values.yaml,添加常用的变量

3、在templates目录下创建部署镜像所需要的yaml文件,并变量引用yaml里经常变动的字段

使用Harbor作为Chart仓库

启用Harbor的Chart仓库服务

# ./install.sh --with-chartmuseum

安装push插件

helm plugin install https://github.com/chartmuseum/helm-push

添加repo

# helm repo add --username admin --password Harbor12345 myrepo http://192.168.0.241/chartrepo/library

推送到harbor仓库

# helm push mysql-1.4.0.tgz --username=admin --password=Harbor12345 http://192.168.31.70/chartrepo/library
# helm install web --version 1.4.0 myrepo/demo

以上是关于Helm的主要内容,如果未能解决你的问题,请参考以下文章

Helm 升级不会拉新容器

Jenkins-k8s-helm-harbor-githab-mysql-nfs微服务发布平台实战

Helm 从 pod 内部使用“x509:由未知机构签名的证书”获取错误

Helm2和Helm3的安装卸载常用命令

从 terraform helm_release 资源获取 redis 主机 url

kubernetes集群安装helm教程