K8S持久化存储之NFS

Posted 2021-04-23 举个栗栗

一、NFS文件存储服务器部署

1）安装服务端:

# yum install -y nfs-utils rpcbind

2）修改配置文件(编辑写入要共享的目录):

# vim /etc/exports
// 共享的目录 白名单网段(权限)
/data_nfs 10.50.0.0/24(rw,no_root_squash,sync,all_squash,anonuid=666,anongid=666)

// 载入配置
# exportfs -rv
// 令格式如下： 
// exportfs [-aruv] 
// -a ：全部mount或者unmount /etc/exports中的内容 
// -r ：重新mount /etc/exports中分享出来的目录 
// -u ：umount目录 
// -v ：在export的时候，将详细的信息输出到屏幕上。 

// 如果后续需要新加挂载点目录，直接在/etc/exports文件增加即可。无需重载配置和重启服务。


nfs配置参数:
rw 共享目录的权限是 可读 可写
sync 同时将数据写入内存和磁盘，增强数据的安全性，保证数据不丢失
async 优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据
no_all_squash 无论NFS客户端使用什么账户访问，都不进行压缩
all_squash 无论使用什么用户上传或者访问，一律压缩成 nfs的匿名用户
anonuid 指定一个匿名用户，必须是系统存在的uid
anongid 指定一个匿名用户组，必须是系统存在的gid
root_squash 当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户(不常用)
no_root_squash 当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员(不常用)
ro 只读权限
secure NFS通过1024以下的安全TCP/IP端口发送 
insecure  NFS通过1024以上的端口发送
wdelay 如果多个用户要写入NFS目录，则归组写入（默认）
no_wdelay 如果多个用户要写入NFS目录，则立即写入，当使用async时，无需此设置。
Hide 在NFS共享目录中不共享其子目录
no_hide 共享NFS目录的子目录
subtree_check 如果共享/usr/bin之类的子目录时，强制NFS检查父目录的权限（默认）
no_subtree_check 和上面相对，不检查父目录权限

3）nfs自带用户：nfsnobody 65534，创建自定义用户：

# groupadd nfsserver -g 666
# useradd nfsserver -u 666 -g 666 -s /sbin/nologin -M

// 创建共享的目录并设置属主
# mkdir -p /data_nfs
# chown -R nfsserver.nfsserver /data_nfs

4）启动服务：

# systemctl enable rpcbind nfs-server
# systemctl start rpcbind nfs-server
# systemctl status rpcbind nfs-server

5）客户端部署和挂载：

// 安装nfs包
# yum -y install nfs-utils
// 显示共享目录(这个ip是服务端的ip)
# showmount -e 10.50.0.40
// 挂载
# mount -t nfs 10.50.0.40:/data_nfs /mnt
// 开机挂载
# vim /etc/fstab
10.50.0.40:/data_nfs /mnt nfs defaults 0 0
// 增加挂载的安全性，通过mount -o指定挂载参数，禁止使用suid，exec，增加安全性能
# mount -t nfs -o nosuid,noexec,nodev 10.50.0.40:/data_nfs /mnt

二、K8S对接：

// 需要在k8s集群中部署nfs-client-provisioner
# helm install --name nfs-client-provisioner --namespace storage --set nfs.server=10.50.0.40 --set nfs.path=/data_nfs --debug .

# # helm list
NAME                          	REVISION	UPDATED                 	STATUS  	CHART                               	APP VERSION	NAMESPACE
nfs-client-provisioner        	1       	Wed Oct 28 11:55:24 2020	DEPLOYED	nfs-client-provisioner-1.2.8        	3.1.0      	storage

# kubectl patch storageclass managed-nfs-storage -p '{"parameters": {"archiveOnDelete": "true"}}'
The StorageClass "managed-nfs-storage" is invalid: parameters: Forbidden: updates to parameters are forbidden.

// 如果在修改sc时报如上错误，使用以下方式修改 
# kubectl replace -f managed-nfs-storage.yaml –force

# kubectl -n storage get sc managed-nfs-storage -o yaml
allowVolumeExpansion: true
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  creationTimestamp: "2020-10-28T03:55:24Z"
  labels:
    app: nfs-client-provisioner
    chart: nfs-client-provisioner-1.2.8
    heritage: Tiller
    release: nfs-client-provisioner
  name: nfs-client
  resourceVersion: "1352213462"
  selfLink: /apis/storage.k8s.io/v1/storageclasses/nfs-client
  uid: e6c5b9aa-25c3-41cd-8843-472d8ef02c52
parameters:
  archiveOnDelete: "true"
provisioner: cluster.local/nfs-client-provisioner
reclaimPolicy: Delete
volumeBindingMode: Immediate

// 创建pvc即可
# cat pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    pv.kubernetes.io/bind-completed: "yes"
    pv.kubernetes.io/bound-by-controller: "yes"
    volume.beta.kubernetes.io/storage-provisioner: cluster.local/nfs-client-provisioner
  finalizers:
 - kubernetes.io/pvc-protection
  name: pvc-test
spec:
  accessModes:
 - ReadWriteMany
  resources:
    requests:
      storage: 50G
  storageClassName: nfs-client

// 或者pod直接通过nfs引用
# cat demo-nfs.yaml
apiVersion: v1
kind: Pod
metadata:
  name: nfs-demo
spec:
  containers:
  - image: nginx
    name: nfs-demo
    volumeMounts:
    - mountPath: /data_WebRoot
      name: data-nfs-webroot
  volumes:
  - name: data-nfs-webroot
    nfs:
      server: 10.50.0.40
      path: "/data_nfs"