k8s APIserver 安全机制之 rbac 授权

Posted 2021-12-10 笨小孩@GF 知行合一

• K8s 安全管理：认证、授权、准入控制概述

• k8s 对我们整个系统的认证，授权，访问控制做了精密的设置
• 对于 k8s 集群来说，apiserver 是整个集群访问控制的唯一入口，在 k8s 集群之上部署应用程序的时候，也可以通过宿主机的NodePort 暴露的端口访问里面的程序，用户访问 kubernetes 集群需要经历如下认证过程：认证->授权->准入控制（adminationcontroller）
  
  1.认证(Authenticating)是对客户端的认证，通俗点就是用户名密码验证
  
  2.授权(Authorization)是对资源的授权，k8s 中的资源无非是容器，最终其实就是容器的计算，网络，存储资源，当一个请求经过认证后，需要访问某一个资源（比如创建一个 pod），授权检查会根据授权规则判定该资源（比如某 namespace 下的 pod）是否是该客户可访问的。
  
  3.准入(Admission Control)机制：当请求通过了前面的认证和授权之后，还需要经过准入控制处理通过之后，apiserver 才会处理这个请求。Admission Control 有一个准入控制列表，我们可以通过命令行设置选择执行哪几个准入
  控制器。只有所有的准入控制器都检查通过之后，apiserver 才执行该请求，否则返回拒绝。
  
  
  准入控制器是在 API Server 的启动参数配置的。
  
  
  在部署 Kubernetes 集群的时候都会默认开启一系列准入控制器，如果没有设置这些准入控制器的话可以说你的 Kubernetes 集群就是在裸奔，只有集群管理员可以修改集群的准入控制器。
  
  
  例如会默认开启如下的准入控制器:
  --admissioncontrol=ServiceAccount,NamespaceLifecycle,NamespaceExists,LimitRanger,ResourceQ
  uota,MutatingAdmissionWebhook,ValidatingAdmissionWebhook
  
  
  k8s 的整体架构也是一个微服务的架构，所有的请求都是通过一个 GateWay，也就是 kubeapiserver 这个组件（对外提供 REST 服务）
  
  k8s 中客户端有两类，一种是普通用户，一种是集群内的 Pod，这两种客户端的认证机制略有不同，但无论是哪一种，都需要依次经过认证，授权，准入这三个机制。

• 认证

• 1、认证支持多种插件
  
  （1）令牌（token）认证：
  token 即标志、记号的意思，在 IT 领域也叫作令牌。在计算机身份认证中是令牌（临时）的意思，在词法分析中是标记的意思。一般作为邀请、登录系统使用。
  
  token 其实说的更通俗点可以叫暗号，在一些数据传输之前，要先进行暗号的核对，不同的暗号被授权不同的数据操作。例如在 USB1.1 协议中定义了 4 类数据包：token 包、data 包、handshake包和 special 包。主机和 USB 设备之间连续数据的交换可以分为三个阶段，第一个阶段由主机发送token 包，不同的 token 包内容不一样（暗号不一样）可以告诉设备做不同的工作，第二个阶段发送 data 包，第三个阶段由设备返回一个 handshake 包。
  
  双方有一个共享密钥，服务器上先创建一个密码下来，客户端登陆的时候拿这个密码登陆即可，这个就是对称密钥认证方式；
  
  k8s 提供了一个 restful 风格的接口，它的所有服务都是通过 http 协议提供的，因此认证信息只能经由 http 协议的认证首部进行传递，这种认证首部进行传递通常叫做令牌；
  
  
  （2）ssl 认证：
  
  对于 k8s 访问来讲，ssl 认证能让客户端确认服务器的认证身份，在跟服务器通信的时候，服务器会发过来一个证书，需要确认这个证书是不是 ca 签署的，如果是认可的 ca 签署的，里面的 subj 信息与访问的目标主机信息保持一致，没有问题，那么就认为服务器的身份得到认证了
  
  k8s 中最重要的是服务器还需要认证客户端的信息，kubectl 也应该有一个证书，这个证书也是 server 所认可的 ca 签署的证书，双方需要互相认证，实现加密通信，这就是 ssl 认证。
• 2、kubernetes 上的账号
  
  
  客户端对 apiserver 发起请求，apiserver 要识别这个用户是否有请求的权限，要识别用户本身能否通过 apiserver 执行相应的操作，那么需要哪些信息才能识别用户信息来完成对用户的相关的访问控制呢？
  
  
  kubectl explain pods.spec 可以看到有一个字段 serviceAccountName（服务账号名称），这个就是我们 pod 连接 apiserver 时使用的账号，因此整个 kubernetes 集群中的账号有两类，ServiceAccount（服务账号），User account（用户账号）
  
  
  User account：实实在在现实中的人可以登陆的账号，客户端想要对 apiserver 发起请求，apiserver 要识别这个客户端是否有请求的权限，那么不同的用户就会有不同的权限，靠用户账号表示，叫做 username
  
  
  ServiceAccount：方便 Pod 里面的进程调用 Kubernetes API 或其他外部服务而设计的，是kubernetes 中的一种资源
  
  sa 账号：登陆 dashboard 使用的账号
  
  
   

• ServiceAccount

• Service account 是为了方便 Pod 里面的进程调用 Kubernetes API 或其他外部服务而设计的。
  
  它与 User account 不同，User account 是为人设计的，而 service account 则是为 Pod 中的进程调用 Kubernetes API 而设计；
  
  User account 是跨 namespace 的，而 service account 则是仅局限它所在的 namespace；
  
  
  每个 namespace 都会自动创建一个 default service account；
  
  
  开启 ServiceAccount Admission Controller 后
  1）每个 Pod 在创建后都会自动设置 spec.serviceAccount 为 default（除非指定了其他ServiceAccout）
  
  2）验证 Pod 引用的 service account 已经存在，否则拒绝创建；
  
  当创建 pod 的时候，如果没有指定一个 serviceaccount，系统会自动在与该 pod 相同的 namespace 下为其指派一个 default service account。这是 pod 和 apiserver 之间进行通信的账号，如下：

  

  

  
  从上面可以看到每个 Pod 无论定义与否都会有个存储卷，这个存储卷为 default-token-***
  
  pod和 apiserver 的认证信息通过 secret 进行定义，由于认证信息属于敏感信息，所以需要保存在secret 资源当中，并以存储卷的方式挂载到 Pod 当中。从而让 Pod 内运行的应用通过对应的secret 中的信息来连接 apiserver，并完成认证。每个 namespace 中都有一个默认的叫做default 的 serviceaccount 资源。查看名称空间内的 secret，也可以看到对应的 defaulttoken。让当前名称空间中所有的 pod 在连接 apiserver 时可以使用的预制认证信息，从而保证pod 之间的通信。

• 默认的 service account 仅仅只能获取当前 Pod 自身的相关属性，无法观察到其他名称空间 Pod的相关属性信息。

• 如果想要扩展 Pod，假设有一个 Pod 需要用于管理其他 Pod 或者是其他资源对象，是无法通过自身的名称空间的 serviceaccount 进行获取其他 Pod 的相关属性信息的，此时就需要进行手动创建一个 serviceaccount，并在创建 Pod 时进行定义。
  
  那么 serviceaccount 该如何进行定义呢？
  
  实际上，service accout 也属于一个 k8s 资源，serviceAccount 也属于标准的k8s 资源，可以创建一个 serviceAccount，创建之后由我们创建的 pod 使用serviceAccountName 去加载自己定义的 serviceAccount 就可以
  
  （1）创建一个 serviceaccount：
  kubectl create serviceaccount test

  

  

   kubectl describe secrets test-token-sp8zx

  上面可以看到生成了 test-token-sp8zx 的 token 详细信息，这个 token 就是 sa 连接 apiserver的认证信息，这个 token 也是登陆 k8s dashboard 的 token，这些是一个认证信息，能够登陆k8s，能认证到 k8s，但是不能做别的事情，不代表权限，想要做其他事情，需要授权

• 2、kubeconfig 文件

• 在 K8S 集群当中，每一个用户对资源的访问都是需要通过 apiserver 进行通信认证才能进行访问的，那么在此机制当中，对资源的访问可以是 token，也可以是通过配置文件的方式进行保存和使用认证信息，可以通过 kubectl config 进行查看配置，如下：
  
  kubectl config view
    server: https://192.168.2.30:6443 #apiserver 的地址
   name: kubernetes #集群的名字
  
   name: kubernetes-admin@kubernetes #上下文的名字
  current-context: kubernetes-admin@kubernetes #当前上下文的名字
  
  在上面的配置文件当中，定义了集群、上下文以及用户。
  
  其中 Config 也是 K8S 的标准资源之一，在该配置文件当中定义了一个集群列表，指定的集群可以有多个；用户列表也可以有多个，指明集群中的用户；而在上下文列表当中，是进行定义可以使用哪个用户对哪个集群进行访问，以及当前使用的上下文是什么。

•  

• 授权

• 如果用户通过认证，什么权限都没有，需要一些后续的授权操作，如对资源的增删该查等,kubernetes1.6 之后开始有 RBAC（基于角色的访问控制机制）授权检查机制。

• Kubernetes 的授权是基于插件形成的，其常用的授权插件有以下几种：
  1）Node（节点认证）
  2）ABAC(基于属性的访问控制)
  3）RBAC（基于角色的访问控制）
  4）Webhook（基于 http 回调机制的访问控制）

• 什么是 RBAC（基于角色的访问控制）？
  让一个用户（Users）扮演一个角色（Role），角色拥有权限，从而让用户拥有这样的权限，随后在授权机制当中，只需要将权限授予某个角色，此时用户将获取对应角色的权限，从而实现角色的访问控制。如图：
   

  

• 在 k8s 的授权机制当中，采用 RBAC 的方式进行授权，其工作逻辑是，把对对象的操作权限定义到一个角色当中，再将用户绑定到该角色，从而使用户得到对应角色的权限。如果通过 rolebinding绑定 role，只能对 rolebingding 所在的名称空间的资源有权限，上图 user1 这个用户绑定到role1 上，只对 role1 这个名称空间的资源有权限，对其他名称空间资源没有权限，属于名称空间级别的；
• 另外，k8s 为此还有一种集群级别的授权机制，就是定义一个集群角色（ClusterRole），对集群内的所有资源都有可操作的权限，从而将 User2 通过 ClusterRoleBinding 到 ClusterRole，从而使User2 拥有集群的操作权限。

• Role、RoleBinding、ClusterRole 和 ClusterRoleBinding 的关系如下图：
   

  

  通过上图可以看到，可以通过 rolebinding 绑定 role，rolebinding 绑定 clusterrole，clusterrolebinding 绑定 clusterrole。
  
  上面我们说了两个角色绑定：
  （1）用户通过 rolebinding 绑定 role
  （2）用户通过 clusterrolebinding 绑定 clusterrole 
  
   还有一种：rolebinding 绑定 clusterrole 
  
  rolebinding 绑定 clusterrole 的好处：
  假如有 6 个名称空间，每个名称空间的用户都需要对自己的名称空间有管理员权限，那么需要定义 6个 role 和 rolebinding，然后依次绑定，如果名称空间更多，我们需要定义更多的 role，这个是很麻烦的，所以我们引入 clusterrole，定义一个 clusterrole，对 clusterrole 授予所有权限，然后用户通过 rolebinding 绑定到 clusterrole，就会拥有自己名称空间的管理员权限了
  
  注：RoleBinding 仅仅对当前名称空间有对应的权限。
   

•  准入控制

• 一般而言，准入控制只是用来定义我们授权检查完成之后的后续的其他安全检查操作，进一步补充了授权机制，由多个插件组合实行，一般而言在创建，删除，修改或者做代理时做补充；
  
  Kubernetes 的 Admission Control 实际上是一个准入控制器(Admission Controller)插件列表，发送到 APIServer 的请求都需要经过这个列表中的每个准入控制器插件的检查，如果某一个控制器插件准入失败，就准入失败。
  
  控制器插件如下：
  AlwaysAdmit：允许所有请求通过
  
  AlwaysPullImages：在启动容器之前总是去下载镜像，相当于每当容器启动前做一次用于是否有权使用该容器镜像的检查
  
  AlwaysDeny：禁止所有请求通过，用于测试
  
  DenyEscalatingExec：拒绝 exec 和 attach 命令到有升级特权的 Pod 的终端用户访问。如果集中包含升级特权的容器，而要限制终端用户在这些容器中执行命令的能力，推荐使用此插件ImagePolicyWebhook
  
  ServiceAccount：这个插件实现了 serviceAccounts 等等自动化，如果使用 ServiceAccount 对象，强烈推荐使用这个插件
  
  SecurityContextDeny：将 Pod 定义中定义了的 SecurityContext 选项全部失效。SecurityContext 包含在容器中定义了操作系统级别的安全选型如 fsGroup，selinux 等选项
  
  ResourceQuota：用于 namespace 上的配额管理，它会观察进入的请求，确保在 namespace 上的配额不超标。推荐将这个插件放到准入控制器列表的最后一个。ResourceQuota 准入控制器既可以限制某个 namespace 中创建资源的数量，又可以限制某个 namespace 中被 Pod 请求的资源总量。ResourceQuota 准入控制器和 ResourceQuota 资源对象一起可以实现资源配额管理。
  
  LimitRanger：用于 Pod 和容器上的配额管理，它会观察进入的请求，确保 Pod 和容器上的配额不会超标。准入控制器 LimitRanger 和资源对象 LimitRange 一起实现资源限制管理
  
  NamespaceLifecycle：当一个请求是在一个不存在的 namespace 下创建资源对象时，该请求会被拒绝。
  
  当删除一个 namespace 时，将会删除该 namespace 下的所有资源对象
  DefaultStorageClass
  DefaultTolerationSeconds
  PodSecurityPolicy
  
  
  当 Kubernetes 版本>=1.6.0，官方建议使用这些插件：
  –admissioncontrol=NamespaceLifecycle,LimitRanger,ServiceAccount,PersistentVolumeLabel,Defau
  ltStorageClass,ResourceQuota,DefaultTolerationSeconds
  
  当 Kubernetes 版本>=1.4.0，官方建议使用这些插件：
  –admissioncontrol=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,Resourc
  eQuota
  
  以上是标准的准入插件，如果是自己定制的话，k8s1.7 版 出了两个 alpha features, Initializers 和 External Admission Webhooks

• ServiceAccount 介绍

• kubernetes 中账户区分为：User Accounts（用户账户） 和 Service Accounts（服务账户）两种：
  UserAccount 是给 kubernetes 集群外部用户使用的，例如运维或者集群管理人员
  
  kubeadm 安装的 k8s，默认用户账号是 kubernetes-admin；
  
   k8s 客户端(一般用:kubectl) ------>API Server
  
   APIServer 需要对客户端做认证，使用 kubeadm 安装的 K8s，会在用户家目录下创建一个认证配置文件 .kube/config 这里面保存了客户端访问 API Server 的密钥相关信息，这样当用 kubectl访问 k8s 时，它就会自动读取该配置文件，向 API Server 发起认证，然后完成操作请求。

• 用户名称可以在 kubeconfig 中查看
   

  

  ServiceAccount 是 Pod 使用的账号，Pod 容器的进程需要访问 API Server 时用的就是ServiceAccount 账户；ServiceAccount 仅局限它所在的 namespace，每个 namespace 创建时都会自动创建一个 default service account；创建 Pod 时，如果没有指定 Service Account，Pod 则会使用 default Service Account。

• RBAC 认证授权策略
  参考：
  https://kubernetes.io/zh/docs/reference/access-authn-authz/rbac/
  RBAC 介绍
  在 Kubernetes 中，所有资源对象都是通过 API 进行操作，他们保存在 etcd 里。而对 etcd 的操作我们需要通过访问 kube-apiserver 来实现，上面的 Service Account 其实就是 APIServer 的认证过程，而授权的机制是通过 RBAC：基于角色的访问控制实现。
  
  RBAC 有四个资源对象，分别是 Role、ClusterRole、RoleBinding、ClusterRoleBinding
  
  Role：角色
  
  一组权限的集合，在一个命名空间中，可以用其来定义一个角色，只能对命名空间内的资源进行授权。如果是集群级别的资源，则需要使用 ClusterRole。例如：定义一个角色用来读取 Pod 的权限
  rules 中的参数说明：
  1、apiGroups：支持的 API 组列表，例如："apiVersion: batch/v1"等
  2、resources：支持的资源对象列表，例如 pods、deplayments、jobs 等
  3、resourceNames: 指定 resource 的名称
  4、verbs：对资源对象的操作方法列表。
  
  ClusterRole：集群角色
  具有和角色一致的命名空间资源的管理能力，还可用于以下特殊元素的授权
  1、集群范围的资源，例如 Node
  2、非资源型的路径，例如：/healthz
  3、包含全部命名空间的资源，例如 Pods
  
  RoleBinding：角色绑定、ClusterRolebinding：集群角色绑定
  角色绑定和集群角色绑定用于把一个角色绑定在一个目标上，可以是 User，Group，Service Account，使用 RoleBinding 为某个命名空间授权，使用 ClusterRoleBinding 为集群范围内授权。
  
  RoleBinding 也可以引用 ClusterRole，对属于同一命名空间内的 ClusterRole 定义的资源主体进行授权
  
  集群角色绑定的角色只能是集群角色，用于进行集群级别或对所有命名空间都生效的授权
   

•  资源的引用方式

• 多数资源可以用其名称的字符串表示，也就是 Endpoint 中的 URL 相对路径，例如 pod 中的日志是 GET /api/v1/namaspaces/{namespace}/pods/{podname}/log
  如果需要在一个 RBAC 对象中体现上下级资源，就需要使用“/”分割资源和下级资源。
  
  资源还可以通过名称（ResourceName）进行引用，在指定 ResourceName 后，使用 get、delete、update、patch 请求，就会被限制在这个资源实例范围内
   

• 常见角色示例
  （1）允许读取核心 API 组的 Pod 资源
  rules:
  - apiGroups: [""]
   resources: ["pods"]
   verbs: ["get","list","watch"]
  （2）允许读写 extensions 和 apps 两个 API 组中的 deployment 资源
  rules:
  - apiGroups: ["extensions","apps"]
   resources: ["deployments"]
   verbs: ["get","list","watch","create","update","patch","delete"]
  （3）允许读取 Pod 以及读写 job 信息
  rules:
  - apiGroups: [""]
   resources: ["pods"]
   verbs: ["get","list","watch"]、
  - apiGroups: ["batch","extensions"]
   resources: ["jobs"]
   verbs: ["get","list","watch","create","update","patch","delete"]
  （4）允许读取一个名为 my-config 的 ConfigMap（必须绑定到一个 RoleBinding 来限制到一个
  Namespace 下的 ConfigMap）：
  rules:
  - apiGroups: [""]
   resources: ["configmap"]
   resourceNames: ["my-configmap"]
   verbs: ["get"]
  （5）读取核心组的 Node 资源（Node 属于集群级的资源，所以必须存在于 ClusterRole 中，并使
  用 ClusterRoleBinding 进行绑定）：
  rules:
  - apiGroups: [""]
   resources: ["nodes"]
   verbs: ["get","list","watch"]
  （6）允许对非资源端点“/healthz”及其所有子路径进行 GET 和 POST 操作（必须使用
  ClusterRole 和 ClusterRoleBinding）：
  rules:
  - nonResourceURLs: ["/healthz","/healthz/*"]
   verbs: ["get","post"]

• 常见的角色绑定示例
  （1）用户名 alice
  subjects:
  - kind: User
   name: alice
   apiGroup: rbac.authorization.k8s.io
   
  （2）组名 alice
  subjects:
  - kind: Group
   name: alice
   apiGroup: rbac.authorization.k8s.io
  （3）kube-system 命名空间中默认 Service Account
  subjects:
  - kind: ServiceAccount
   name: default
   namespace: kube-system

• 对 Service Account 的授权管理
  Service Account 也是一种账号，是给运行在 Pod 里的进程提供了必要的身份证明。需要在 Pod定义中指明引用的 Service Account，这样就可以对 Pod 的进行赋权操作。
  例如：pod 内可获取rbac 命名空间的所有 Pod 资源，pod-reader-sc 的 Service Account 是绑定了名为 pod-read 的Role
  apiVersion: v1
  kind: Pod
  metadata:
   name: nginx
   namespace: rbac
  spec:
   serviceAccountName: pod-reader-sc
   containers:
   - name: nginx
   image: nginx
   imagePullPolicy: IfNotPresent
   ports:
   - containerPort: 80
  默认的 RBAC 策略为控制平台组件、节点和控制器授予有限范围的权限，但是除 kube-system 外的 Service Account 是没有任何权限的。
  （1）为一个应用专属的 Service Account 赋权
  此应用需要在 Pod 的 spec 中指定一个 serviceAccountName，用于 API、Application Manifest、kubectl create serviceaccount 等创建 Service Account 的命令。
  例如为 my-namespace 中的 my-sa Service Account 授予只读权限
  kubectl create rolebinding my-sa-view --clusterrole=view --serviceaccount=mynamespace:my-sa --namespace=my-namespace
  （2）为一个命名空间中名为 default 的 Service Account 授权
  如果一个应用没有指定 serviceAccountName，则会使用名为 default 的 Service Account。注意，赋予 Service Account “default”的权限会让所有没有指定 serviceAccountName 的 Pod都具有这些权限
  例如，在 my-namespace 命名空间中为 Service Account“default”授予只读权限：
  kubectl create rolebinding default-view --clusterrole=view --serviceaccount=mynamespace:default --namespace=my-namespace
  另外，许多系统级 Add-Ons 都需要在 kube-system 命名空间中运行，要让这些 Add-Ons 能够使用超级用户权限，则可以把 cluster-admin 权限赋予 kube-system 命名空间中名为 default 的Service Account，这一操作意味着 kube-system 命名空间包含了通向 API 超级用户的捷径。
  kubectl create clusterrolebinding add-ons-add-admin --clusterrole=cluster-admin --serviceaccount=kube-system:default
  （3）为命名空间中所有 Service Account 都授予一个角色
  如果希望在一个命名空间中，任何 Service Account 应用都具有一个角色，则可以为这一命名空间的 Service Account 群组进行授权
  kubectl create rolebinding serviceaccounts-view --clusterrole=view --group=system:serviceaccounts:my-namespace --namespace=my-namespace
  （4）为集群范围内所有 Service Account 都授予一个低权限角色
  如果不想为每个命名空间管理授权，则可以把一个集群级别的角色赋给所有 Service Account。
  kubectl create clusterrolebinding serviceaccounts-view --clusterrole=view --group=system:serviceaccounts
  （5）为所有 Service Account 授予超级用户权限
  kubectl create clusterrolebinding serviceaccounts-view --clusterrole=cluster-admin --group=system:serviceaccounts

• 使用 kubectl 命令行工具创建资源对象
  （1）在命名空间 rbac 中为用户 es 授权 admin ClusterRole：
  kubectl create rolebinding bob-admin-binding --clusterrole=admin --user=es --namespace=rbac
   
  （2）在命名空间 rbac 中为名为 myapp 的 Service Account 授予 view ClusterRole：
  kubctl create rolebinding myapp-role-binding --clusterrole=view --serviceaccount=rbac:myapp --namespace=rbac
   
  （3）在全集群范围内为用户 root 授予 cluster-admin ClusterRole：
  kubectl create clusterrolebinding cluster-binding --clusterrole=cluster-admin --user=root
   
  （4）在全集群范围内为名为 myapp 的 Service Account 授予 view ClusterRole：
  kubectl create clusterrolebinding service-account-binding --clusterrole=view --serviceaccount=myapp
  扩展：创建 sa，并授权
  sa 的全称是 serviceaccount。
  serviceaccount 是为了方便 Pod 里面的容器访问 k8s 集群而设计的。
  指定了 serviceaccount 之后，我们把 pod 创建出来了，我们在使用这个 pod 时，这个 pod 就有了我们指定的权限去操作 k8s 资源了。
  对 sa 授权
  # kubectl create clusterrolebinding nfs-provisioner --clusterrole=cluster-admin --serviceaccount=default:nfs-provisioner
  #注意：clusterrole=cluster-admin 具有所有权限，可以操作任何资源-serviceaccount=default:nfs-provisioner
  
  default 是 sa 所在的名称空间
  nfs-provisioner 是 sa 的名字
  
  #创建 pod，使用 sa
   spec:
   serviceAccount: nfs-provisioner
   containers:
   - name: nfs-provisioner
   

• 限制不同的用户操作 k8s 集群

• ssl 认证
  生成一个证书
  （1）生成一个私钥
  cd /etc/kubernetes/pki/
  (umask 077; openssl genrsa -out lucky.key 2048) 
  
  （2）生成一个证书请求
  openssl req -new -key lucky.key -out lucky.csr -subj "/CN=lucky"
  
  
  （3）生成一个证书
  openssl x509 -req -in lucky.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out lucky.crt -days 3650
  
  
  在 kubeconfig 下新增加一个 lucky 这个用户
  （1）把 lucky 这个用户添加到 kubernetes 集群中，可以用来认证 apiserver 的连接
  kubectl config set-credentials lucky --client-certificate=./lucky.crt --client-key=./lucky.key --embed-certs=true
  
  
  （2）在 kubeconfig 下新增加一个 lucky 这个账号
  kubectl config set-context lucky@kubernetes --cluster=kubernetes --user=lucky
  
  （3）切换账号到 lucky，默认没有任何权限
  kubectl config use-context lucky@kubernetes
  
  kubectl config use-context kubernetes-admin@kubernetes 这个是集群用户，有任何权限把 user 这个用户通过 rolebinding 绑定到 clusterrole 上，授予权限,权限只是在 lucky 这个名称空间有效
  
  切换回 admin 创建命名空间 clucky
  kubectl config use-context kubernetes-admin@kubernetes
  kubectl create ns lucky
  （1）把 lucky 这个用户通过 rolebinding 绑定到 clusterrole 上
  kubectl create rolebinding lucky -n lucky --clusterrole=cluster-admin --user=lucky
  （2）切换到 lucky 这个用户
  kubectl config use-context lucky@kubernetes
  （3）测试是否有权限
  kubectl get pods -n lucky
  有权限操作这个名称空间
  kubectl get pods
  没有权限操作其他名称空间 User "lucky" cannot list resource "pods" in API group "" at the cluster scope
  
  添加一个 lucky 的普通用户
  useradd lucky
  cp -ar /root/.kube/ /home/lucky/
  chown -R lucky.lucky /home/lucky/
  su - lucky
  kubectl get pods -n lucky
  最后不要忘了切换回 kubernetes-admin 用户：
  kubectl config use-context kubernetes-admin@kubernetes