50台集群架构配置介绍-3(NFS)

Posted 2020-10-12

企业NFS共享存储服务

介绍及作用位置：

• 透过网路（一般是局域网）让不同的主机系统之间可以共享文件或目录。

• ＮＦＳ客户端（一般为应用服务器 例:WEB 服务）可以透过挂载的方式将NFS服务器端共享的数据目录挂载到客户端本地系统中。从客户端本地来看，NFS服务器端共享的目录就好像是客户端自己的磁盘分区或者目录一样，而实际上却是远端的NFS服务器目录。

• 互联网中小型网站集群架构后端常常用NFS进行数据共享，如果是大型网站，那么有可能还会用到更复杂的分布式文件系统，例如:Moosefs(mfs)、GlusterFS,FastDFS

NFS服务部署服务器准备：

这边我们开三台虚拟机来实践

1. 10.0.0.31 (nfs01) 作为服务器 2. 10.0.0.41 (backup)作为Client 1 3. 10.0.0.8 (web01) 作为Client 2

• 服务器环境系统：

[[email protected] ~]# cat /etc/redhat-release 

CentOS release 6.9 (Final)

[[email protected] ~]# uname -r

2.6.32-696.el6.x86_64

[[email protected] ~]# uname -m

x86_64

NFS 软体列表：

• 要部署NFS服务，需要安装下面的软件包：
  注意，如果要让我们下载的yum留下来，以后可以做yum 仓库，可以这样配置
  
  

1. nfs-utils
   NFS服务的主程序，包括rpc.nfsd、rpc.mountd这两个 daemons和相关文档说明，以及执行命令文件等

2. rpcbind
   Centos6.X 下面RPC 的主程序。NFS可以视为一个RPC程序，在启动任何一个RPC程序之前，需要做好端口和功能的对应映射工作，这个映射工作就是由rpcbind服务来完成的。因此，在提供NFS服务之前必须先启动rpcbind服务才可以。 

[[email protected] yum]# cat /etc/yum.conf 

[main]

cachedir=/var/cache/yum/$basearch/$releasever

keepcache=1     ------>这边原本是0改成1 

debuglevel=2

logfile=/var/log/yum.log

exactarch=1

查看目前已经下载的yum 

[[email protected] yum]# tree /var/cache/yum/x86_64/6/|grep "rpm"

│   │   ├── keyutils-1.4-5.el6.x86_64.rpm

│   │   ├── libevent-1.4.13-4.el6.x86_64.rpm

│   │   ├── libgssglue-0.1-11.el6.x86_64.rpm

│   │   ├── nfs-utils-1.2.3-75.el6.x86_64.rpm

│   │   └── nfs-utils-lib-1.1.5-13.el6.x86_64.rpm

    │   ├── libtirpc-0.2.1-13.el6_9.x86_64.rpm

    │   └── rpcbind-0.2.0-13.el6_9.1.x86_64.rpm

NFS 开启服务：

[[email protected] ~]# /etc/init.d/rpcbind start

Starting rpcbind:                                          [  OK  ]

[[email protected] ~]# netstat -tunlp | grep rpc

tcp        0      0 0.0.0.0:111                 0.0.0.0:*                   LISTEN      2974/rpcbind        

tcp        0      0 :::111                      :::*                        LISTEN      2974/rpcbind        

udp        0      0 0.0.0.0:605                 0.0.0.0:*                               2974/rpcbind        

udp        0      0 0.0.0.0:111                 0.0.0.0:*                               2974/rpcbind        

udp        0      0 :::605                      :::*                                    2974/rpcbind        

udp        0      0 :::111                      :::*                                    2974/rpcbind 

rpc 主端口是111

要怎么看有没有房源啊？

[[email protected] ~]# rpcinfo -p localhost

   program vers proto   port  service

    100000    4   tcp    111  portmapper

    100000    3   tcp    111  portmapper

    100000    2   tcp    111  portmapper

    100000    4   udp    111  portmapper

    100000    3   udp    111  portmapper

    100000    2   udp    111  portmapper

---->上面都只有自己的端口

开启nfs服务

[[email protected] ~]# /etc/init.d/nfs start

Starting NFS services:                                     [  OK  ]

Starting NFS quotas:                                       [  OK  ]

Starting NFS mountd:                                       [  OK  ]

Starting NFS daemon:                                       [  OK  ]

Starting RPC idmapd:                                       [  OK  ]

然后我们再看看rpc 有没有房了？

[[email protected] ~]# rpcinfo -p localhost 

   program vers proto   port  service

    100000    4   tcp    111  portmapper

    100000    3   tcp    111  portmapper

    100000    2   tcp    111  portmapper

    100000    4   udp    111  portmapper

    100000    3   udp    111  portmapper

    100000    2   udp    111  portmapper

    100011    1   udp    875  rquotad

    100011    2   udp    875  rquotad

    100011    1   tcp    875  rquotad

    100011    2   tcp    875  rquotad

    100005    1   udp  40802  mountd

    100005    1   tcp  46645  mountd

    100005    2   udp  53778  mountd

    100005    2   tcp  54941  mountd

    100005    3   udp  59941  mountd

    100005    3   tcp  40293  mountd

    100003    2   tcp   2049  nfs

    100003    3   tcp   2049  nfs

    100003    4   tcp   2049  nfs

    100227    2   tcp   2049  nfs_acl

    100227    3   tcp   2049  nfs_acl

    100003    2   udp   2049  nfs

    100003    3   udp   2049  nfs

    100003    4   udp   2049  nfs

    100227    2   udp   2049  nfs_acl

    100227    3   udp   2049  nfs_acl

    100021    1   udp  44455  nlockmgr

    100021    3   udp  44455  nlockmgr

    100021    4   udp  44455  nlockmgr

    100021    1   tcp  43293  nlockmgr

    100021    3   tcp  43293  nlockmgr

    100021    4   tcp  43293  nlockmgr

    

我们之前说过，每个进程都会有所谓的虚拟用户，当我们在yum安装时，变生成的下面的id 用户

[[email protected] ~]# id nobody

uid=99(nobody) gid=99(nobody) groups=99(nobody)

[[email protected] ~]# id nfsnobody

uid=65534(nfsnobody) gid=65534(nfsnobody) groups=65534(nfsnobody)

[[email protected] ~]# chkconfig nfs on

[[email protected] ~]# chkconfig rpcbind on

总结：先启动rpcbind，再启动nfs服务。再把他们加入开机自启动

查看一下nfs 跟rpc 的开机自启动部分：

[[email protected] ~]# ls /etc/rc.d/rc3.d/ | grep -E "nfs|rpc"

K61nfs-rdma

K69rpcsvcgssd

S13rpcbind

S14nfslock

S19rpcgssd

S30nfs

实践配置NFS：

NFS服务的默认配置文件路径为:/etc/exports ，并且默认为空的。

[[email protected] ~]# ls -l /etc/exports

-rw-r--r--. 1 root root 0 Jan 12  2010 /etc/exports

• 格式：
  NFS 共享目录 NFS客户端地址

EXAMPLE

       # sample /etc/exports file

       /               master(rw) trusty(rw,no_root_squash)

       /projects       proj*.local.domain(rw)

       /usr            *.local.domain(ro) @trusted(rw)

       /home/joe       pc001(rw,all_squash,anonuid=150,anongid=100)

       /pub            *(ro,insecure,all_squash)

       /srv/www        -sync,rw server @trusted @external(ro)

       /foo            2001:db8:9:e54::/64(rw) 192.0.2.0/24(rw)

       /build          buildhost[0-9].local.domain(rw)

上述各个列的参数含义如下：

1. NFS 共享的目录：为NFS服务端要共享的实际目录，要用绝对路径，如(/data)。注意共享目录的本地权限，如果需要读写共享，一定要让本地目录可以被NFS客户端的用户(nfsnobody)读写。

2. NFS 客户端地址：为NFS服务端授权的可访问共享目录的NFS客户端地址，可以为单独的ＩＰ地址或主机名、域名等 ，也可以为整个网段地址，还可以用“*” 来匹配所有客户端服务器，这里所谓的客户端一般来说是前端的业务服务器，例如：web 服务。
   

3. 权限参数集： 对授权的NFS客户端的访问权限设置

[[email protected] ~]# mkdir /data -p

[[email protected] ~]# id nfsnobody

uid=65534(nfsnobody) gid=65534(nfsnobody) groups=65534(nfsnobody)

[[email protected] ~]# ls -ld /data

drwxr-xr-x. 2 root root 4096 Oct 13 14:33 /data

[[email protected] ~]# chown -R nfsnobody.nfsnobody /data

[[email protected] ~]# ls -ld /data                      

drwxr-xr-x. 2 nfsnobody nfsnobody 4096 Oct 13 14:33 /data

[[email protected] ~]# vim /etc/exports

[[email protected] ~]# cat /etc/exports

 #shared /data by oldboy for bingbing at 20171013

/data   172.16.1.0/24(rw,sync)

这样上述的基本配置就处理完了。配置完后，要检查一下状态是否正确：

[[email protected] ~]# /etc/init.d/rpcbind status

rpcbind (pid  2974) is running...

[[email protected] ~]# /etc/init.d/nfs status    

rpc.svcgssd is stopped

rpc.mountd (pid 3033) is running...

nfsd (pid 3049 3048 3047 3046 3045 3044 3043 3042) is running...

rpc.rquotad (pid 3028) is running...

[[email protected] ~]# rpcinfo -p localhost

program vers proto   port  service

 100000    4   tcp    111  portmappe

...不全部列出

[[email protected] ~]# /etc/init.d/nfs reload   （平滑重启服务）

 **上面的平滑重启命令 等价于 exportfs -rv **       

上面平滑重启后，我们要检查服务到底有没有真正挂载上去： 

[[email protected] ~]# showmount -e 172.16.1.31

Export list for 172.16.1.31:

/data 172.16.1.0/24    ---->有出现这个，就表示服务端是启动正常的！

企业生产场景 NFS exports 配置实例 配置（客户端）：

这边我们的环境是在10.0.0.8(web01)

客户端一样要先安装：nfs-utils , rpcbind 软件包

[[email protected] ~]# /etc/init.d/rpcbind start

[[email protected] ~]# /etc/init.d/rpcbind status

rpcbind (pid  1210) is running...

[[email protected] ~]# chkconfig rpcbind on

[[email protected] ~]# chkconfig --list rpcbind

rpcbind         0:off   1:off   2:on    3:on    4:on    5:on    6:of

连线检查：

[[email protected] ~]# showmount -e 172.16.1.31

Export list for 172.16.1.31:

/data 172.16.1.0/24

[[email protected] ~]# telnet 172.16.1.31 111

Trying 172.16.1.31...

Connected to 172.16.1.31.

挂载

[[email protected] ~]# mount -t nfs 172.16.1.31:/data /mnt

[[email protected] ~]# df -h

Filesystem         Size  Used Avail Use% Mounted on

/dev/sda3          6.6G  1.5G  4.8G  23% /

tmpfs              491M     0  491M   0% /dev/shm

/dev/sda1          190M   35M  146M  19% /boot

172.16.1.31:/data  6.6G  1.6G  4.7G  25% /mnt

测试：

[[email protected] mnt]# touch oldboy.txt

[[email protected] mnt]# echo "good" >> oldboy.txt 

回到服务器里面看：

[[email protected] ~]# ls /data/

oldboy.txt

[[email protected] ~]# cat /data/oldboy.txt 

good

本文出自 “我的Linux之夢” 博客，请务必保留此出处http://12098022.blog.51cto.com/12088022/1976698