NFS架构(转载)

Posted 2023-04-12

参考技术A 1.为什么用共享存储
2.存储有哪些工具
3.共享存储应用场景有哪些
4.部署nfs共享存储
5.客户端尝试连接共享存储
什么是NFS？
NFS 是 Network File System 的缩写及网络文件系统。 NFS 主要功能是通过局域网络让不同的主机系统之间可以共享文件或目录。
NFS 系统和 Windows 网络共享、网络驱动器类似, 只不过 windows 用于局域网, NFS 用于企业集群架构中, 如果是大型网站, 会用到更复杂的分布式文件系统 FastDFS,glusterfs,HDFS
那么我们为什么要使用数据存储共享服务？
1.实现多台服务器之间数据共享
2.实现多台服务器之间数据一致

下面我将通过图解给大家展示集群需要共享存储服务的理由。
1.A 用户上传图片经过负载均衡，负载均衡将上传请求调度至 WEB1 服务器上。
2.B 用户访问 A 用户上传的图片，此时 B 用户被负载均衡调度至 WEB2 上，因为 WEB2 上没有这张图片，所以 B用户无法看到 A 用户传的图片

如果有共享存储的情况
1.A 用户上传图片无论被负载均衡调度至 WEB1 还是 WEB2, 最终数据都被写入至共享存储
2.B 用户访问 A 用户上传图片时，无论调度至 WEB1 还是 WEB2，最终都会上共享存储访问对应的文件，这样就可以访问到资源了

NFS工作原理
1.用户进程访问 NFS 客户端，使用不同的函数对数据进行处理
2.NFS 客户端通过 TCP/IP 的方式传递给 NFS 服务端
3.NFS 服务端接收到请求后，会先调用 portmap 进程进行端口映射。
4.nfsd 进程用于判断 NFS 客户端是否拥有权限连接 NFS 服务端。
5.Rpc.mount 进程判断客户端是否有对应的权限进行验证。
6.idmap 进程实现用户映射和压缩
7.最后 NFS 服务端会将对应请求的函数转换为本地能识别的命令，传递至内核，由内核驱动硬件。
注意: rpc 是一个远程过程调用，那么使用 nfs 必须有 rpc 服务

1.nfs依赖于RPC服务来传递消息
2.NFS服务启动的端口号是随机的,启动之后会向本地的RCP注册
3.先启动RPC服务,再启动NFS服务
4.NFS和RPC之间的通讯是他们自己内部完成的,对于用户来说无感知
5.NFS客户端和服务端不会直接沟通,必须通过RPC服务传递消息
6.防火墙要开放RPC服务的端口

nfs 服务程序的配置文件为/etc/exports，需要严格按照共享目录的路径 允许访问的 NFS 客户端（共享权限参数）格式书写，定义要共享的目录与相应的权限，具体书写方式如下图所示

配置文件参数解释：
执行 man exports 命令，然后切换到文件结尾，可以快速查看如下样例格式：
nfs共享参数 参数作用
rw 读写权限
ro 只读权限
root_squash
当 NFS 客户端以 root 管理员访问时，映射为 NFS 服务器的匿名用户(不常用)
no_root_squash
当 NFS 客户端以 root 管理员访问时，映射为 NFS 服务器的 root 管理员(不常用)
all_squash
无论 NFS 客户端使用什么账户访问，均映射为 NFS 服务器的匿名用户(常用)
no_all_squash
无论 NFS 客户端使用什么账户访问，都不进行压缩
sync
同时将数据写入到内存与硬盘中，保证不丢失数据
async
优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据
anonuid
配置 all_squash 使用,指定 NFS 的用户 UID,必须存在系统

anongid
配置 all_squash 使用,指定 NFS 的用户 UID,必须存在系统

写入配置文件：注意！IP地址和后面的小括号没有空格

创建数据目录和授权:

在使用 NFS 服务进行文件共享之前，需要使用 RPC（Remote Procedure Call 远程过程调用服务将 NFS 服务器的IP 地址和端口号信息发送给客户端。因此，在启动 NFS 服务之前，需要先重启并启用 rpcbind 服务程序,同时都加入开机自启动

客户端安装nfs服务十分简单，只需要安装nfs软件包即可

安装完成后只需要启动rpcbind，不需要启动nfs

使用showmount命令查看nfs共享信息查询 NFS 服务器的远程共享信息，其输出格式为“共享的目录名称 允许使用客户端地址”。

挂载命令: 创建挂载目录
在 NFS 客户端创建一个挂载目录, 使用 mount 命令并结合-t 参数, 指定要挂载的文件系统的类型, 并在命令后面写上服务器的 IP 地址, 以及服务器上的共享目录, 最后需要写上要挂载到本地系统(客户端)的目录

查看是否挂载成功：

测试写入数据是否正常

写入开机自动挂载

卸载命令：注意!卸载的时候如果提示”umount.nfs: /nfsdir: device is busy”先切换到其他目录再卸载

强制卸载命令：

服务端配置：

客户端挂载：

测试读取：

写入测试：

服务端配置：

服务端创建用户及授权：

重启NFS服务：

更改目录授权：

客户端操作:

我们会发现依然可以写入，但是为了避免这种情况发生，建议客户端也创建相同uid gid的用户

参考博客

启动NFS会开启如下端口：
1）portmapper 端口：111 udp/tcp；
2）nfs/nfs_acl 端口：2049 udp/tcp；
3）mountd 端口："32768--65535" udp/tcp
4）nlockmgr 端口："32768--65535" udp/tcp
系统 RPC服务在 nfs服务启动时默认会给 mountd 和 nlockmgr 动态选取一个随机端口来进行通讯。

1.查看NFS启动后的端口

2.将随机的端口号设置固定

3.重启nfs和rpc服务

4.再次查看端口信息,发现端口号已经固定了

5.设置iptables

6.保存配置

如果设置了开机自启动，但是系统启动的时候NFS并没有提供服务，就会导致开机自检的时候卡在挂在那一步

NFS 存储优点
1.NFS 文件系统简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。
2.NFS 文件系统内存放的数据都在文件系统之上，所有数据都是能看得见
NFS 存储局限
1.存在单点故障, 如果构建高可用维护麻烦 web->nfs()->backup
2.NFS 数据明文, 并不对数据做任何校验。
3.客户端挂载 NFS 服务没有密码验证, 安全性一般(内网使用)
NFS 应用建议
1.生产场景应将静态数据尽可能往前端推, 减少后端存储压力
2.必须将存储里的静态资源通过 CDN 缓存 jpg\png\mp4\avi\css\js
3.如果没有缓存或架构本身历史遗留问题太大, 在多存储也无用

准备 3 台虚拟机服务器，并且请按照要求搭建配置 NFS 服务。
NFS 服务端（A）
NFS 客户端（B）
NFS 客户端（C）
1.在 NFS 服务端(A)上共享/data/w(可写)及/data/r(只读)
2.在 NFS 客户端(B/C)上进行挂载
环境准备

NFS架构搭建及配置

第14章 NFS服务搭建与配置

14.1 NFS介绍

NFS(Network File System)即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。NFS的数据传输基于RPC（remote procedure call）协议。

应用场景

A,B,C三台机器上需要被访问到的文件是一样的，A共享数据出来，B和C分别取挂载A共享的数据目录，从而B和C访问到的数据和A上的一致。

14.2 NFS服务端安装配置

准备两台虚拟机，一台作为服务端，一台作为客户端。

服务端

IP：192.168.8.130

安装NFS工具：

[[email protected] ~]# yum install -y nfs-utils rpcbind
配置

[[email protected] ~]# vim /etc/exports
/home/nfstestdir 192.168.8.0/24(rw,sync,all_squash,anonuid=1000,anongid=1000)
#指定要进行分享的目录；指定要共享该目录的机器

创建分享目录并制定权限：
[[email protected] ~]# mkdir /home/nfstestdir
[[email protected] ~]# chmod 777 /home/nfstestdir
启动NFS服务

在yum安装完成后，系统会自动启动rpcbind服务（在服务端进程名称为systemd），默认监听的端口时111端口。

[[email protected] ~]# systemctl start nfs

将NFS服务加入开机启动项：
[[email protected] ~]# systemctl enable nfs
客户端

IP：192.168.8.132

安装NFS工具：

[[email protected] ~]# yum install -y nfs-utils
客户端挂载

检查客户端是否有权限访问服务端文件：
[[email protected] ~]# showmount -e 192.168.8.130
clnt_create: RPC: Port mapper failure - Unable to receive: errno 113 (No route to host)
报错： 无法连接到服务端机器(网络不通)！
解决办法：

检查服务端NFS服务是否开启（监听111端口）
如果确认服务端NFS服务已经开启，那么检查防火墙状态，关闭服务端和客户端firewalld和SELinux防火墙
解决完上述错误后再次执行命令：

[[email protected] ~]# showmount -e 192.168.8.130
Export list for 192.168.8.130:
/home/nfstestdir 192.168.8.0/24
即，客户端可以正常访问服务端机器。

开始挂载
[[email protected] ~]# mount -t nfs 192.168.8.130:/home/nfstestdir /mnt/

[[email protected] ~]# df -h
文件系统 容量 已用 可用 已用% 挂载点
192.168.8.130:/home/nfstestdir 18G 7.5G 11G 42% /mnt
测试

在客户机挂载目录创建文件：

[[email protected] ~]# cd /mnt/
[[email protected]entos-01linux mnt]# ll
总用量 0
-rw-r--r-- 1 mysql mysql 0 8月 23 19:50 test123
查看服务端共享目录：

[[email protected] ~]# ll /home/nfstestdir/
总用量 0
-rw-r--r--. 1 mysql mysql 0 8月 23 19:50 test123
即，实现了同步共享！

14.3 NFS配置选项

[root@localhost ~]# vim /etc/exports
/home/nfstestdir 192.168.8.0/24(rw,sync,all_squash,anonuid=1000,anongid=1000)
#指定要进行分享的目录；指定要共享该目录的机器
#rw 读写；ro 只读
#sync 同步模式,内存数据实时写入磁盘
#async 非同步模式
#no_root_squash 客户端挂载NFS服务后，root用户不受约束，权限很大
#root_squash 与上面选项相对，客户端上的root用户受到约束，被限定成某个普通用户
#all_squash 客户端上所有用户在使用NFS共享目录时都被限定为一个普通用户
#anonuid/anongid 和上面几个选项搭配使用，定义被限定用户的uid和gid
14.4 exportfs命令

exportfs命令用来管理当前NFS共享的文件系统列表。

Options：
-a：全部卸载或全部挂载
-r：重新挂载
-u：卸载某个目录
-v：显示共享目录

常用组合： exportfs -arv
服务端更改配置文件后，不重启服务，直接执行该命令就可以使更改后的配置文件生效。

注意： 在重启nfs服务之前需要先将所有挂载点卸载，否则将发生程序错误，严重者会拖垮系统。

以上操作均在服务端进行！！！

14.5 NFS客户端问题

针对NFS4版本在centos6中应用存在如下问题：
客户端挂载共享目录后，不管是root用户还是普通用户，创建新文件时属主、数组为nobody。

解决方法：

方法1：在客户端进行挂载时加上选项-o nfsvers=3
[[email protected] ~]# monunt -t nfs -o nfsvers=3 192.168.8.130:/tmp/ /mnt/
如果目录已经挂载，而又不想卸载，执行如下命令：

[[email protected] ~]# monunt -t nfs -o remount,nfsvers=3 192.168.8.130:/tmp/ /mnt/
方法2：客户端和服务端都需要
[[email protected] ~]# vim /etc/idmapd.conf
把该配置文件中的“Domain = local.domain.com”改为“Domain = xxx.com”（此处xxx.com自定义），然后重启rpcidmapd服务（在centos7中直接重启rpcbind服务）。