在k3s中使用local-path-provisioner实现Local PV

Posted gongzb

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了在k3s中使用local-path-provisioner实现Local PV相关的知识，希望对你有一定的参考价值。

Local PV是从kuberntes 1.10开始引入，本质目的是为了解决hostPath的缺陷。通过PV控制器与Scheduler的结合，会对local PV做针对性的逻辑处理，从而，让Pod在多次调度时，能够调度到同一个Node上。
kubernetes v1.14.0正式发布了，这个版本带来的一个新特性就是本地持久化管理( Local StorageManagement)特性正式GA(稳定)了。

一，安装local-path-provisioner

1，当k3s正常安装完成之后，就已预安装好了local-path-provisioner。

NAME                                     READY   STATUS      RESTARTS   AGE
svclb-traefik-wwr4q                      2/2     Running     6          19h
svclb-traefik-tkzjl                      2/2     Running     4          8h
helm-install-traefik-zdsx4               0/1     Completed   0          33m
traefik-758cd5fc85-m8j5n                 1/1     Running     0          33m
coredns-7944c66d8d-bdk4f                 1/1     Running     2          8h
local-path-provisioner-6d59f47c7-l2zc9   1/1     Running     3          8h
metrics-server-7566d596c8-csdqb          1/1     Running     3          8h

倒数第二个就是：local-path-provisioner-6d59f47c7-l2zc9。
2，local-storage的配置
/var/lib/rancher/k3s/server/manifests/local-storage.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: local-path-provisioner-service-account
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
  name: local-path-provisioner-role
rules:
- apiGroups: [""]
  resources: ["nodes", "persistentvolumeclaims"]
  verbs: ["get", "list", "watch"]
- apiGroups: [""]
  resources: ["endpoints", "persistentvolumes", "pods"]
  verbs: ["*"]
- apiGroups: [""]
  resources: ["events"]
  verbs: ["create", "patch"]
- apiGroups: ["storage.k8s.io"]
  resources: ["storageclasses"]
  verbs: ["get", "list", "watch"]
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: local-path-provisioner-bind
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: local-path-provisioner-role
subjects:
- kind: ServiceAccount
  name: local-path-provisioner-service-account
  namespace: kube-system
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: local-path-provisioner
  namespace: kube-system
spec:
  replicas: 1
  selector:
    matchLabels:
      app: local-path-provisioner
  template:
    metadata:
      labels:
        app: local-path-provisioner
    spec:
      serviceAccountName: local-path-provisioner-service-account
      tolerations:
          - key: "CriticalAddonsOnly"
            operator: "Exists"
          - key: "node-role.kubernetes.io/master"
            operator: "Exists"
            effect: "NoSchedule"
      containers:
      - name: local-path-provisioner
        image: rancher/local-path-provisioner:v0.0.11
        imagePullPolicy: IfNotPresent
        command:
        - local-path-provisioner
        - start
        - --config
        - /etc/config/config.json
        volumeMounts:
        - name: config-volume
          mountPath: /etc/config/
        env:
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
      volumes:
        - name: config-volume
          configMap:
            name: local-path-config
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: local-path
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
provisioner: rancher.io/local-path
volumeBindingMode: WaitForFirstConsumer
reclaimPolicy: Delete
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: local-path-config
  namespace: kube-system
data:
  config.json: |-
        
                "nodePathMap":[
                
                        "node":"DEFAULT_PATH_FOR_NON_LISTED_NODES",
                        "paths":["/var/lib/rancher/k3s/storage"]
                
                ]

/var/lib/rancher/k3s/storage为节点存储空间
3，确认storageclass资源已生成

[root@localhost yaml]# kubectl get storageclass -n kube-system
NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
local-path (default)   rancher.io/local-path   Delete          WaitForFirstConsumer   false                  20h

二，创建PVC

1，pvc.yaml内容如下:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: local-path-pvc
  namespace: default
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: local-path
  resources:
    requests:
      storage: 50Mi

2，将Yaml文件应用到k3s集群
kubectl apply -f pvc.yaml
3，查看pv

kubectl get pv -A
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                    STORAGECLASS   REASON   AGE
pvc-1d6d8a75-93cd-4f89-bef7-2251ce1695bd   50Mi       RWO            Delete           Bound    default/local-path-pvc   local-path              25m

4，查看pvc

kubectl get pvc -A
NAMESPACE   NAME             STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
default     local-path-pvc   Bound    pvc-1d6d8a75-93cd-4f89-bef7-2251ce1695bd   50Mi       RWO            local-path     27m

三，创建测试POD

1，pvc-pod.yaml内容如下：

apiVersion: v1
kind: Pod
metadata:
  name: volume-test
  namespace: default
spec:
  containers:
  - name: volume-test
    image: nginx:1.18-alpine
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: volv
      mountPath: /data
    ports:
    - containerPort: 80
  volumes:
  - name: volv
    persistentVolumeClaim:
      claimName: local-path-pvc

2，将Yaml文件应用到k3s集群
kubectl apply -f pvc-pod.yaml
3，查看pod的部署节点

kubectl get pod -o wide
NAME                                READY   STATUS    RESTARTS   AGE     IP           NODE                    NOMINATED NODE   READINESS GATES
nginx-deployment-559fdddb7b-cb8xz   1/1     Running   2          7h39m   10.42.2.19   localhost.localdomain   <none>           <none>
nginx-deployment-559fdddb7b-qw6pn   1/1     Running   2          7h39m   10.42.1.23   k3s-agent.localdomain   <none>           <none>
volume-test                         1/1     Running   0          34s     10.42.1.27   k3s-agent.localdomain   <none>           <none>

4，查看k3s-agent.localdomain 节点目录

 ll /var/lib/rancher/k3s/
total 4
drwx------. 3 root root 4096 Oct 24 21:46 agent
drwxr-xr-x. 3 root root   78 Oct 24 21:46 data
drwxr-xr-x. 3 root root   54 Oct 25 17:10 storage

可以看到，在local-storage.yaml定义的目录已生成。

四，验证

1，在pod中写入文件

/data # echo "hello, local PV" > pvc-test
/data # cat pvc-test 
hello, local PV
/data # pwd
/data

2，在local PV查看是否同样有此文件

pwd
/var/lib/rancher/k3s/storage/pvc-1d6d8a75-93cd-4f89-bef7-2251ce1695bd
[root@k3s-agent pvc-1d6d8a75-93cd-4f89-bef7-2251ce1695bd]# ls
pvc-test
[root@k3s-agent pvc-1d6d8a75-93cd-4f89-bef7-2251ce1695bd]# cat pvc-test 
hello, local PV

可以看到，Local PV测试成功

五，删除（略过）



作者：万州客
链接：https://www.jianshu.com/p/dd186961e398
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

Python 详解K-S检验与3σ原则剔除异常值

文章目录

一、引言

异常值分析是检验数据是否有录入错误，是否含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地将异常值放入数据的计算分析过程中，会对结果造成不良影响；重视异常值的出现，分析其产生的原因，经常成为发现问题进而改进决策的契机。

异常值是指样本中的个别值，其数值明显偏离其他的观测值。异常值也称为离群点，异常值分析也称为离群点分析。

而对于数据异常值的处理，3σ 原则是一种基于统计的方法，简单实用。

二、3σ原则

什么叫 3σ 原则呢？

  • 3σ 原则，又叫拉依达原则，它是指假设一组检测数据中只含有随机误差，需要对其进行计算得到标准偏差，按一定概率确定一个区间，对于超过这个区间的误差，就不属于随机误差而是粗大误差，需要将含有该误差的数据进行剔除。
  • 局限性：仅局限于对正态或近似正态分布的样本数据处理，它是以测量次数充分大为前提（样本>10），当测量次数少的情形用准则剔除粗大误差是不够可靠的。在测量次数较少的情况下，最好不要选用该准则。

3σ 原则：

  • 数值分布在（μ-σ，μ+σ）中的概率为 0.6827
  • 数值分布在（μ-2σ，μ+2σ）中的概率为 0.9545
  • 数值分布在（μ-3σ，μ+3σ）中的概率为 0.9973

其中，μ 为平均值，σ 为标准差。一般可以认为，数据 Y 的取值几乎全部集中在（μ-3σ，μ+3σ)区间内，超出这个范围的可能性仅占不到 0.3%，这些超出该范围的数据可以认为是异常值。

在实验科学中有对应正态分布的 3σ 定律（Three-sigma Law），是一个简单的推论，内容是 “几乎所有” 的值都在平均值正负三个标准差的范围内，也就是在实验上可以将 99.7% 的机率视为 “几乎一定” 。不过上述推论是否有效，会视探讨领域中 “显著” 的定义而定，在不同领域，“显著” 的定义也随着不同，例如在社会科学中，若置信区间是在正负二个标准差（95%）的范围，即可视为显著。但是在粒子物理中，若是发现新的粒子，置信区间要到正负五个标准差（99.99994%）的程度。

即使在不是正态分布的情形下，也有另一个对应的 3σ 定律（three-sigma rule）。即使是在非正态分布的情形下，至少会有 88.8% 的机率会在正负三个标准差的范围内，这是依照切比雪夫不等式的结果。若是单模分布（unimodal distributions）下，正负三个标准差内的机率至少有95%，若符合特定一些条件的分布，机率可能会到 98% 。所以如果数据不服从正态分布，也可以用远离平均值的标准差的自定义倍数来描述。

三、K-S检验

可以使用 K-S 检验一列数据是否服从正态分布

from scipy.stats import kstest

kstest(rvs, cdf, args=(), N=20, alternative='two-sided', mode='auto')
https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.kstest.html

补充学习：

四、Python实现

Python实现步骤具体步骤如下：

  • 首先需要保证数据列大致上服从正态分布（可以使用 box-cox 变换等）；
  • 计算需要检验的数据列的平均值 μ 和标准差 σ；
  • 比较数据列的每个值与平均值的偏差是否超过 3 倍标准差，如果超过 3 倍，则为异常值；
  • 剔除异常值，得到规范的数据。

K-S 正态分布检验和 3σ 原则剔除异常值，Python 代码如下：

import numpy as np
import pandas as pd
from scipy.stats import kstest
from scipy.special import boxcox1p
from scipy.stats import boxcox_normmax
from scipy.special import inv_boxcox


def KsNormDetect(df):
    # 计算均值
    u = df['value'].mean()
    # 计算标准差
    std = df['value'].std()
    # 计算P值
    print(kstest(df['value'], 'norm', (u, std)))
    res = kstest(df['value'], 'norm', (u, std))[1]
    print('均值为：%.2f，标准差为：%.2f' % (u, std))
    # 判断p值是否服从正态分布，p<=0.05 拒绝原假设 不服从正态分布
    if res <= 0.05:
        print('该列数据不服从正态分布')
        print("-" * 66)
        return True
    else:
        print('该列数据服从正态分布')
        return False


def OutlierDetection(df, ks_res):
    # 计算均值
    u = df['value'].mean()
    # 计算标准差
    std = df['value'].std()
    if ks_res:
        # 定义3σ法则识别异常值
        outliers = df[np.abs(df['value'] - u) > 3 * std]
        # 剔除异常值，保留正常的数据
        clean_data = df[np.abs(df['value'] - u) < 3 * std]
        # 返回异常值和剔除异常值后的数据
        return outliers, clean_data

    else:
        print('请先检测数据是否服从正态分布')
        return None


if __name__ == '__main__':
    # 构造数据  某一列数据  含有异常值
    data = np.random.normal(60, 5, 200)
    data[6], data[66], data[196] = 16, 360, 180
    print(data)
    
    print("-" * 66)
    # 可以转换为pandas的DataFrame 便于调用方法计算均值和标准差
    df = pd.DataFrame(data, columns=['value'])
    # box-cox变换
    lam = boxcox_normmax(df["value"] + 1)
    df["value"] = boxcox1p(df['value'], lam)
    # K-S检验
    ks_res = KsNormDetect(df)
    outliers, clean_data = OutlierDetection(df, ks_res)
    # 异常值和剔除异常值后的数据
    outliers = inv_boxcox(outliers, lam) - 1
    clean_data = inv_boxcox(clean_data, lam) - 1
    print(outliers)
    print("-" * 66)
    print(clean_data)

剔除异常值结果如下：

补充学习：

以上是关于在k3s中使用local-path-provisioner实现Local PV的主要内容，如果未能解决你的问题，请参考以下文章

在k3s中启用其自带ingress——traefik的web-ui

K3s+Sysdig，8分钟部署并保护集群安全！

除了边缘场景，你还能在哪里使用K3s？

k3d入门指南：在Docker中运行K3s

k3d入门指南：在Docker中运行K3s

k3d入门指南：在Docker中运行K3s