Web集群之NFS（网络文件系统）
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Web集群之NFS（网络文件系统）相关的知识，希望对你有一定的参考价值。
1、什么是NFS
NFS（Network File System）网络文件系统
它的主要功能是通过网络（一般是局域网）让不同主机系统之间共享文件或目录
NFS客户端（应用服务器，例如web）可以挂载（mount）的方式将NFS服务器端共享的数据目录挂载到NFS客户端本地系统中（某一个挂载点下）
从客户端本地来看，NFS服务器端共享的目录就好像是客户端自己的磁盘分区或目录一样，而实际上却是远端的NFS服务器的目录
所有的Web服务器会向 NFS服务器进行数据交互
应用场景：
NFS适用于中小型企业：NFS服务器，而且默认只能有一台NFS服务器
大公司或大门户（高并发）：Moosefs(MFS)、GlusterFS、FastDFS等（分布式文件系统 ）
NFS在传输数据时使用的端口会随机选择。那么就需要RPC
NFS软件列表：
nfs-utils #NFS服务的主程序
rpcbind #RPC的主程序
安装：yum install nfs-utils rpcbind -y （服务端必须安装，客户端强烈建议安装）
检查：rpm -aq nfs-utils rpcbind1.1 NFS工作原理流程图：
NFS服务端，首先要先启动RPC服务，在启动NFS服务，NFS服务会自动向RPC服务注册启动的端口，客户端需要通过自身的RPC服务，来向NFS服务端的RPC获取NFS的端口号，然后客户端在通过得到的端口号，单独向NFS发起TCP建立。
file:///Users/xiongminghao/Library/Mobile%20Documents/iCloud~com~coderforart~ios~MWeb/Documents/mweb_documents_library/docs/media/15413998107562/15414008422850.jpg
1.2 NFS共享目录
NFS共享的目录：必须是实际存在的目录，要用绝对路径，注意共享目录的本地权限，如果需要读写共享，要让本地目录可以被NFS客户端的用户（nfsnobody）读写
NFS客户端地址：为NFS服务端授权的可以访问共享目录的NFS客户端地址，可为单独的IP地址或主机名、域名等，也可以使整个网段地址，还可以用“*”来匹配所有客户端服务器，没有对账号密码，几乎都是用IP地址，这些所谓的客户端一般来说是前端的业务服务器，
权限参数：对授权的NFS客户端的访问权限
NFS服务端默认配置文件路径/etc/exports，并且内容默认为空
[[email protected] ~]# ls -ld /etc/exports
-rw-r--r--. 1 root root 0 Jun 7 2013 /etc/exports
[[email protected] ~]# cat /etc/exportsexports配置文件的规范（两种写法）：
NFS共享的目录 NFS客户端地址1(参1,参2...)客户端地址2(参1,参2...)
NFS共享的目录 NFS客户端地址1(参1,参2...)
2、NFS搭建
查看系统版本
[[email protected] ~]# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)
[[email protected] ~]# uname -r
3.10.0-862.el7.x86_64
[[email protected] ~]# uname -m
x86_64检查并安装nfs和rpc服务
[[email protected] /]#yum install nfs-utils rpcbind -y
[[email protected] /]# rpm -aq nfs-utils rpcbind
rpcbind-0.2.0-44.el7.x86_64
nfs-utils-1.3.0-0.54.el7.x86_642.1 服务端配置
启动RPC
[[email protected] /]# systemctl start rpcbind
[[email protected] /]# systemctl status rpcbind #查看rpcbind是否正常运行
● rpcbind.service - RPC bind service
Loaded: loaded (/usr/lib/systemd/system/rpcbind.service; enabled; vendor preset: enabled)
Active: active (running) since Mon 2018-11-05 15:03:34 CST; 1min 0s ago
Process: 52393 ExecStart=/sbin/rpcbind -w $RPCBIND_ARGS (code=exited, status=0/SUCCESS)
Main PID: 52394 (rpcbind)
CGroup: /system.slice/rpcbind.service
└─52394 /sbin/rpcbind -w
Nov 05 15:03:34 nfs systemd[1]: Starting RPC bind service...
Nov 05 15:03:34 nfs systemd[1]: Started RPC bind service.
[[email protected] /]# netstat -lntup |grep rpc
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 52394/rpcbind
tcp6 0 0 :::111 :::* LISTEN 52394/rpcbind
udp 0 0 0.0.0.0:841 0.0.0.0:* 52394/rpcbind
udp 0 0 0.0.0.0:111 0.0.0.0:* 52394/rpcbind
udp6 0 0 :::841 :::* 52394/rpcbind
udp6 0 0 :::111 :::* 52394/rpcbind
[[email protected] /]# lsof -i :111 #111为RPC程序端口号
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
rpcbind 52394 rpc 6u IPv4 100989 0t0 UDP *:sunrpc
rpcbind 52394 rpc 8u IPv4 100991 0t0 TCP *:sunrpc (LISTEN)
rpcbind 52394 rpc 9u IPv6 100992 0t0 UDP *:sunrpc
rpcbind 52394 rpc 11u IPv6 100994 0t0 TCP *:sunrpc (LISTEN)启动NFS
[[email protected] /]# systemctl start nfs
[[email protected] /]# systemctl status nfs
● nfs-server.service - NFS server and services
Loaded: loaded (/usr/lib/systemd/system/nfs-server.service; enabled; vendor preset: disabled)
Active: active (exited) since Mon 2018-11-05 15:08:02 CST; 3s ago
Process: 54371 ExecStart=/usr/sbin/rpc.nfsd $RPCNFSDARGS (code=exited, status=0/SUCCESS)
Process: 54366 ExecStartPre=/bin/sh -c /bin/kill -HUP `cat /run/gssproxy.pid` (code=exited, status=0/SUCCESS)
Process: 54365 ExecStartPre=/usr/sbin/exportfs -r (code=exited, status=0/SUCCESS)
Main PID: 54371 (code=exited, status=0/SUCCESS)
CGroup: /system.slice/nfs-server.service
Nov 05 15:08:02 nfs systemd[1]: Starting NFS server and services...
Nov 05 15:08:02 nfs systemd[1]: Started NFS server and services.再次查看RPC端口
#当NFS启动后，NFS向rpc注册端口
[[email protected] /]# netstat -lntup |grep rpc
tcp 0 0 0.0.0.0:37998 0.0.0.0:* LISTEN 54333/rpc.statd
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 52394/rpcbind
tcp 0 0 0.0.0.0:20048 0.0.0.0:* LISTEN 54363/rpc.mountd
tcp6 0 0 :::33985 :::* LISTEN 54333/rpc.statd
tcp6 0 0 :::111 :::* LISTEN 52394/rpcbind
tcp6 0 0 :::20048 :::* LISTEN 54363/rpc.mountd
udp 0 0 0.0.0.0:841 0.0.0.0:* 52394/rpcbind
udp 0 0 0.0.0.0:20048 0.0.0.0:* 54363/rpc.mountd
udp 0 0 0.0.0.0:111 0.0.0.0:* 52394/rpcbind
udp 0 0 0.0.0.0:45174 0.0.0.0:* 54333/rpc.statd
udp 0 0 127.0.0.1:703 0.0.0.0:* 54333/rpc.statd
udp6 0 0 :::45876 :::* 54333/rpc.statd
udp6 0 0 :::841 :::* 52394/rpcbind
udp6 0 0 :::20048 :::* 54363/rpc.mountd
udp6 0 0 :::111 :::* 52394/rpcbind 提示：
查看nfs服务向rpc注册的端口信息
rpcinfo -p localhost
NFS常见进程讲解
[[email protected] /]# ps -ef|egrep "rpc|nfs"
rpc 52394 1 0 15:03 ? 00:00:00 /sbin/rpcbind -w
rpcuser 54333 1 0 15:08 ? 00:00:00 /usr/sbin/rpc.statd
root 54341 2 0 15:08 ? 00:00:00 [rpciod]
root 54363 1 0 15:08 ? 00:00:00 /usr/sbin/rpc.mountd
root 54364 1 0 15:08 ? 00:00:00 /usr/sbin/rpc.idmapd
root 54373 2 0 15:08 ? 00:00:00 [nfsd4_callbacks]
root 54379 2 0 15:08 ? 00:00:00 [nfsd]
root 54380 2 0 15:08 ? 00:00:00 [nfsd]
root 54381 2 0 15:08 ? 00:00:00 [nfsd]
root 54382 2 0 15:08 ? 00:00:00 [nfsd]
root 54383 2 0 15:08 ? 00:00:00 [nfsd]
root 54384 2 0 15:08 ? 00:00:00 [nfsd]
root 54385 2 0 15:08 ? 00:00:00 [nfsd]
root 54386 2 0 15:08 ? 00:00:00 [nfsd]nfsd(rpc.nfsd) #主进程，主要是管理客户端能否登入服务端，登入者ID判别。
mountd(rpc.mountd) #管理NFS文件系统，登入者的权限管理
rpc.lockd(非必要) #用来锁定文件，用于客户端同时写入
rpc.statd(非必要) #检查文件一致性
rpc.idmapd #名字映射后台进程
将rpcbind和nfs加入开机自启动
systemctl enable rpcbind.service
systemctl enable nfs-server.service配置共享/data目录（编辑/etc/exports配置文件）
[[email protected] ~]# cat >>/etc/exports<<EOF
> #shared /data by jason for bingbing at 2018-08-25
> /data 172.16.1.0/24(rw,sync)
> EOF
[[email protected] ~]# cat /etc/exports
#shared /data by oldboy for bingbing at 2018-08-25
/data 172.16.1.0/24(rw,sync)图解上述操作的意义：
提示：
必须要在NFS和RPC启动之后修改/etx/export文件
创建共享目录（客户端访问）
#创建/data目录
[[email protected] /]# mkdir /data -p
[[email protected] /]# ls -ld /data/
drwxr-xr-x 2 root root 6 Nov 5 14:31 /data/
将共享目录加入到nfs的虚拟用户和用户组
[[email protected] /]# chown -R nfsnobody.nfsnobody /data/
#nfsnobody是nfs的虚拟用户
[[email protected] /]# id nfsnobody
uid=65534(nfsnobody) gid=65534(nfsnobody) groups=65534(nfsnobody)上述操作完毕后，平滑重启nfs
[[email protected] /]# systemctl reload nfs使用nfs自带的showmount，测试nfs是否共享成功
#测试NFS目录是否共享成功
#在nfs端本地测试
[[email protected] /]# showmount -e localhost
Export list for localhost:
/data 172.16.1.0/24
#可以-e指定nfs端地址
[[email protected] /]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24nfs端自己挂载自己的/data目录（可忽略）
[[email protected] /]# mount -t nfs 172.16.1.31:/data /mnt/
mount.nfs: /mnt is busy or already mounted
[[email protected] /]# df -h |grep mnt
172.16.1.31:/data 22G 1.7G 21G 8% /mnt #挂摘成功
[[email protected] /]# umount /mnt/ #测试完成后，记得卸载提示：
测试nfs共享目录，使用showmount命令即可
umount /mnt -lf 可强制卸载
2.2 客户端配置
安装nfs和rpc（rpc必须安装，nfs需要使用到自带的一些工具，所以两者都装）
[[email protected] ~]# yum isntall nfs-utils rpcbind -y
[[email protected] ~]# rpm -qa nfs-utils rpcbind
nfs-utils-1.3.0-0.54.el7.x86_64
rpcbind-0.2.0-44.el7.x86_64启动rpc，并加入开机自启动
[[email protected] ~]# systemctl start rpcbind #启动rpc
[[email protected] ~]# systemctl status rpcbind #查看rpc状态
● rpcbind.service - RPC bind service
Loaded: loaded (/usr/lib/systemd/system/rpcbind.service; enabled; vendor preset: enabled)
Active: active (running) since Mon 2018-11-05 15:39:55 CST; 4s ago
Process: 17432 ExecStart=/sbin/rpcbind -w $RPCBIND_ARGS (code=exited, status=0/SUCCESS)
Main PID: 17433 (rpcbind)
CGroup: /system.slice/rpcbind.service
└─17433 /sbin/rpcbind -w
Nov 05 15:39:55 web01 systemd[1]: Starting RPC bind service...
Nov 05 15:39:55 web01 systemd[1]: Started RPC bind service.
[[email protected] ~]# systemctl enable rpcbind.service #开机自启动测试挂载
[[email protected] ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24 #共享目录没问题
[[email protected] ~]# telnet 172.16.1.31 111
Trying 172.16.1.31...
Connected to 172.16.1.31. #连接到对端rpc也没问题
Escape character is ‘^]‘.将客户端的/mnt目录挂载到nfs服务端
[[email protected] ~]# mount -t nfs 172.16.1.31:/data /mnt/
[[email protected] ~]# df -h |grep mnt
172.16.1.31:/data 22G 1.7G 21G 8% /mnt
#挂载完成在挂载目录/mnt下创建文件，然后在nfs服务端查看
#客户端创建文件
[[email protected] ~]# cd /mnt/
[[email protected] mnt]# touch test.txt
[[email protected] mnt]# ll
-rw-r--r-- 1 nfsnobody nfsnobody 0 Nov 5 16:05 test.txt
#服务端查看
[[email protected] /]# cd /data/
[[email protected] data]# ll
-rw-r--r-- 1 nfsnobody nfsnobody 0 Nov 5 16:05 test.txt
注：当客户端访问/nmt的时候，相当于是在访问172.16.1.31这个NFS服务端的/data目录实现开机自动挂载
[[email protected] /]# echo "mount -t nfs 172.16.1.31:/data /mnt/" >>/etc/rc.local
[[email protected] /]# tail -1 /etc/rc.local
mount -t nfs 172.16.1.31:/data /mnt/提示：
也可以放入/etc/fatab,需要注意一些情况
NFS网络文件系统最好不要放到fstab里实现开机挂载，
但如果在开机自启动服务里设置并启动了netfs服务，放入fastb里也是可
以开机挂载的
以上是关于Web集群之NFS（网络文件系统）的主要内容，如果未能解决你的问题，请参考以下文章