Kubernetes中spinnaker的使用一
Posted saynaihe
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Kubernetes中spinnaker的使用一相关的知识，希望对你有一定的参考价值。
背景：
spinnaker 1.26.6 on kubernetes，现在想到的做的跟jenkins流水线联动（添加多个jenkins环境配置）and 多kubernetes集群配置。
spinnaker Automated Triggers（触发器）
jenkins Trigger 触发器
关于jenkins的配置-spinnaker-nginx-demo
pipeline
关键词：
//Docker 镜像仓库信息
registryServer = "harbor.xxx.com"
projectName = "$JOB_NAME".split('-')[0]
repoName = "$JOB_NAME"
imageName = "$registryServer/$projectName/$repoName"
//pipeline
pipeline
agent node label "build01"
//设置构建触发器
triggers
GenericTrigger( causeString: 'Generic Cause',
genericVariables: [[defaultValue: '', key: 'branchName', regexpFilter: '', value: '$.ref']],
printContributedVariables: true,
printPostContent: true,
regexpFilterExpression: '',
regexpFilterText: '',
silentResponse: true,
token: 'spinnaker-nginx-demo')
stages
stage("CheckOut")
steps
script
srcUrl = "https://gitlab.xxxx.com/xxxx/spinnaker-nginx-demo.git"
branchName = branchName - "refs/heads/"
currentBuild.description = "Trigger by $branchName"
println("$branchName")
checkout([$class: 'GitSCM',
branches: [[name: "$branchName"]],
doGenerateSubmoduleConfigurations: false,
extensions: [],
submoduleCfg: [],
userRemoteConfigs: [[credentialsId: 'gitlab-admin-user',
url: "$srcUrl"]]])
stage("Push Image ")
steps
script
withCredentials([usernamePassword(credentialsId: 'harbor-admin-user', passwordVariable: 'password', usernameVariable: 'username')])
sh """
sed -i -- "s/VER/$branchName/g" app/index.html
docker login -u $username -p $password $registryServer
docker build -t $imageName:$branchName .
docker push $imageName:$branchName
docker rmi $imageName:$branchName
"""
stage("Trigger File")
steps
script
sh """
echo IMAGE=$imageName:$branchName >trigger.properties
echo ACTION=DEPLOY >> trigger.properties
cat trigger.properties
"""
archiveArtifacts allowEmptyArchive: true, artifacts: 'trigger.properties', followSymlinks: false
关于gitlab的配置
仓库copy自https://github.com/spinnakerusers/spinnaker-nginx-demo.git
spinnaker中的配置：
创建application
创建一个abcd的应用 授权yunweizu 读写可执行权限。devops组可读权限
创建pepiline-zhangpeng
至于webhook-stage
个人无聊做了一个微笑机器人发送构建信息的：
企业微信群聊中搞了一个微笑机器人如下：
Payload（可以自定义）
"msgtype": "text",
"text":
"content": "流水线 $execution['name']运行中, 运行用户 $execution['trigger']['user']"
gitlab触发一下构建：
随便编辑一下git仓库里面的任一一个文件
点击webhoo 编辑查看触发状况
jenkins中查看
jenkins中构建标签为68
spinnaker构建发送通知感觉有点慢…完了三分钟才收到构建信息
关于邮件的报警Notifications
halyard容器中：
qq邮箱 先生成密码
bash-5.0$ pwd
/home/spinnaker/.hal/default/profiles
bash-5.0$ cat echo-local.yml
mail:
enabled: true
from: xxxx@qq.com
spring:
mail:
host: smtp.qq.com
username: xxxx@qq.com
password: xxxxxx
protocol: smtp
default-encoding: utf-8
properties:
mail:
display:
sendname: SpinnakerAdmin
smtp:
port: 465
auth: true
starttls:
enable: true
required: true
ssl:
enable: true
transport:
protocol: smtp
debug: true
bash-5.0$ pwd
/home/spinnaker/.hal/default/profiles
bash-5.0$ cat settings-local.js
window.spinnakerSettings.feature.managedServiceAccounts = true;
window.spinnakerSettings.notifications.email.enabled = true;
bash-5.0$ hal deploy apply --no-validate
就可以收到邮件notification了
Webhook tigger 触发器
创建pipeline-zhangpeng1
curl触发测试
curl https://xxx.xxx.com/webhooks/webhook/zhangpeng1 -X POST
触发成功
注：这里没有加邮件或者stage webhook的微信提醒
Git Tigger 触发器
创建pipeline zhangpeng2
git仓库修改文件触发
webhook stage依然是触发微信机器人的步骤，现在在gitlab仓库中master分支修改一个文件
注：这里没有使用spinnaker-nginx-demo仓库，如果使用spinnaker-nginx-demo仓库应该触发zhangpeng and zhangpeng2 pipeline！
触发成功
Docker Registry tigger 触发器
这里使用了harbor就直接用harbor触发了。
但是出现了一个问题： 在Kubernetes搭建spinnaker服务中。我harbor用户使用了zhangpeng,but这个用户不是管理员，只是几个项目的管理者！这样是不可以的。用户应该是管理员。就因为权限问题我这这里尝试失败了好几次。
创建pipeline-zhangpeng3
上传镜像到harbor
验证触发成功
当然了还可以手动触发看一下：
这里可以查看触发的标签？是不是可以用作回滚？
第一条kubernetes下的流水线
创建一个project-demo
这里可以看到我的custers account 不是默认的default了。很简单的操作：config文件中修改了acclounts中的name还有primaryAccount然后hal deploy apply --no-validate
创建application-spinnaker-nginx-demo
依旧是创建application的流程并设置权限！
创建pipelines-spinnaker-nginx-demo
Manifest如下：
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
k8s-app: nginxdemo
name: nginxdemo
namespace: dev
spec:
replicas: 1
selector:
matchLabels:
k8s-app: nginxdemo
template:
metadata:
labels:
k8s-app: nginxdemo
name: nginxdemo
namespace: dev
spec:
containers:
- image: 'harbor.xxxx.com/spinnaker/spinnaker-nginx-demo:1.2.4'
imagePullPolicy: Always
name: nginxdemo
ports:
- containerPort: 80
name: web
protocol: TCP
imagePullSecrets:
- name: harbor-xxx
running
正常的运行应该会跟下面一样报错：
应该是orca服务报错的。忘了哪一个截图的了
然后就：
cat cluster1.yaml
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: spinnaker-namespaces-admin-role
rules:
- apiGroups:
- ""
resources:
- namespaces
- namespaces/status
verbs:
- create
- get
- list
- watch
- update
- patch
- delete
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: spinnaker-namespaces-binding
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: spinnaker-namespaces-admin-role
subjects:
- kind: ServiceAccount
name: default
namespace: spinnaker
kubectl apply -f cluster1.yaml
没有报错了。但是依然部署不成功！我的k8s config有问题？
CONTEXT=$(kubectl config current-context)
hal config provider kubernetes account add my-k8s-account \\
--context $CONTEXT
看了一眼 my-k8s-account配置多了一个kubeconfigFile！
照着layabox的 serviceaccount配置修改一下
hal deploy apply --no-validate
等待pod重建完成退出spinnaker web控制台刷新缓存重新登陆！打开application-spinnaker-nginx-demo-pipelines-configure-spinnaker-nginx-demo
修改account为my-k8s-account 并保存配置save changes。
重新run一遍流水线
running 的时间忽略 harbor的仓库的key我写错了没有拉下来镜像！
还有一个问题。应该小伙伴们stage输入中文保存后都是乱码！这里在halyard配置：
/home/spinnaker/.hal/default/profiles目录下的有sql相关配置增加了**?useSSL=false&useUnicode=true&characterEncoding=utf8**
我是把有sql相关配置的应用都添加了这个配置！
简单的第一步吧这算是。后续进行更深入的玩法！
总结一下：
- habor or docker registry用户要为管理员
- kubernetes的key可能会没有权限根据我上面的文件搞一下。如果有namespace权限的 官网找一下clusterrole ClusterRoleBinding的配置
- 如果支持中文记得数据库配置增加?useSSL=false&useUnicode=true&characterEncoding=utf8
- 用户组的权限…嗯这个可以自己玩各种尝试了
- 添加多个jenkins harbor kubernetes集群的配置…可以看配置文件进行复制修改
以上是关于Kubernetes中spinnaker的使用一的主要内容，如果未能解决你的问题，请参考以下文章