架构（day05）

Posted 2022-08-18 佳豪哥哥

NFS共享存储

开机自动挂载

## 开机自动挂载配置文件
 [root@web02 ~]# ll /etc/fstab
 -rw-r--r--. 1 root root 501 May 12 19:20 /etc/fstab
 
 ## 设置开机自动挂载
 [root@web02 ~]# vim /etc/fstab
 172.16.1.31:/data /var/www/html/user_data nfs defaults 0 0
 
 ## 检测配置是否有问题
 [root@web02 ~]# mount -a

NFS卸载

## 卸载挂载目录
 [root@web02 ~]# umount /var/www/html/user_data
 
 ## 报错：设备繁忙
 umount.nfs4: /var/www/html/user_data: device is busy
 
 ## 强制卸载
 [root@web02 ~]# umount -lf /var/www/html/user_data

NFS挂载其他选项

在企业工作场景，通常情况NFS服务器共享的只是普通静态数据（图片、附件、视频），不需要执行suid、exec等权限，挂
 载的这个文件系统只能作为数据存取之用，无法执行程序，对于客户端来讲增加了安全性。例如: 很多黑子篡改站点文件都
 是由上传入口上传的程序到存储目录。然后执行的。
 
 #通过mount -o指定挂载参数，禁止使用suid，exec，增加安全性能
 [root@nfs-client ~]# mount -t nfs -o nosuid,noexec,nodev 172.16.1.31:/data /mnt
 
 #通过mount -o指定挂载参数，禁止更新目录及文件时间戳挂载
 [root@nfs-client ~]# mount -t nfs -o noatime,nodiratime 172.16.1.31:/data /mnt

nfs共享参数	参数作用
rw	read write 客户端针对服务端的共享目录有可读，可写权限
ro	read only 客户端针对服务端的共享目录只读权限
root_squash	客户端必须是以root身份写入共享目录文件时，到服务端才能以nfs的系统用户写入（不常用）
no_root_squash	客户端以root身份连接服务端，也会以nfs服务器的root用户来操作共享目录（不常用）
all_squash	无论NFS客户端用什么用户访问共享目录，到服务端都是nfs的系统用户权限
no_all_squash	无论NFS客户端使用什么账户访问，都不会变成nfs系统用户的身份（不常用）
sync	同时将数据写入到内存与硬盘中，保证不丢失数据
async	优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据
anonuid	配置all_squash使用,指定NFS的用户UID,必须存在系统
anongid	配置all_squash使用,指定NFS的用户GID,必须存在系统

NFS存储小结

1.NFS存储优点 1）NFS文件系统简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。 2）NFS文件系统内存放的数据都在文件系统之上，所有数据都是能看得见。

2.NFS存储局限 1）存在单点故障, 如果构建高可用维护麻烦web->nfs()->backup 2）NFS数据明文, 并不对数据做任何校验。3）客户端挂载NFS服务没有密码验证, 安全性一般(内网使用)

3.NFS应用建议 1）生产场景应将静态数据尽可能往前端推, 减少后端存储压力 2）必须将存储里的静态资源通过CDN缓存jpg\\png\\mp4\\avi\\css\\js 3）如果没有缓存或架构本身历史遗留问题太大, 在多存储也无用

NFS结合Rsync

1.备份用户数据

• 目的：避免运维人员，或者其他技术人员误操作，误删除了用户数据，还可以恢复

2.实时同步用户数据

• 保证用户数据的一致性
• 解决NFS的单点故障

注意：统一用户 1.web01和web02可以上传图片 2.nfs用户数据每天凌晨1点做备份 3.校验数据的完整性 4.nfs用户数据实时同步到backup的/data/目录下，做nfs的备机

部署web客户端

# 1.安装http和php
 [root@web01 ~]# yum install -y httpd php
 [root@web02 ~]# yum install -y httpd php
 
 # 2.创建www用户
 [root@web01 ~]# groupadd www -g 666
 [root@web01 ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M
 
 [root@web02 ~]# groupadd www -g 666
 [root@web02 ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M
 
 # 3.修改apache配置文件（启动用户）
 [root@web01 ~]# vim /etc/httpd/conf/httpd.conf
 66 User www
 67 Group www
 [root@web02 ~]# vim /etc/httpd/conf/httpd.conf
 66 User www
 67 Group www
 
 # 4.启动apache服务
 [root@web01 ~]# systemctl start httpd
 [root@web02 ~]# systemctl start httpd
 
 # 5.添加开机自启
 [root@web01 ~]# systemctl enable httpd
 [root@web02 ~]# systemctl enable httpd
 
 # 6.下载代码
 [root@web01 html]# pwd
 /var/www/html
 [root@web01 html]# ll
 total 28
 -rw-r--r-- 1 root root 27020 May 18 11:54 kaoshi_modify.zip
 
 [root@web02 html]# pwd
 /var/www/html
 [root@web02 html]# ll
 total 28
 -rw-r--r-- 1 root root 27020 May 18 11:54 kaoshi_modify.zip
 
 # 7.解压代码
 [root@web01 html]# unzip kaoshi_modify.zip
 [root@web02 html]# unzip kaoshi_modify.zip
 
 # 8.授权html目录
 [root@web01 html]# chown -R www.www /var/www/html/
 [root@web02 html]# chown -R www.www /var/www/html/
 
 # 9.进程检查
 [root@web01 html]# ps -ef|grep httpd
 [root@web02 html]# ps -ef|grep httpd
 
 # 10.端口检查
 [root@web01 html]# netstat -lntup|grep httpd
 tcp6 0 0 :::80 :::* LISTEN 21802/httpd
 [root@web02 html]# netstat -lntup|grep httpd
 tcp6 0 0 :::80 :::* LISTEN 21802/httpd
 
 # 11.浏览器访问
 http://10.0.0.7/
 http://10.0.0.8/

部署nfs服务端

# 1.安装nfs
 [root@nfs ~]# yum install -y nfs-utils
 
 # 2.创建www用户
 [root@nfs ~]# groupadd www -g 666
 [root@nfs ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M
 
 # 3.修改nfs配置文件
 [root@nfs ~]# vim /etc/exports
 /data 172.16.1.0/24(rw,sync,anonuid=666,anongid=666,all_squash)
 
 # 4.创建共享目录
 [root@nfs ~]# mkdir /data
 
 # 5.授权共享目录
 [root@nfs ~]# chown -R www.www /data
 
 # 6.启动nfs服务
 [root@nfs ~]# systemctl start nfs
 
 # 7.检查进程
 [root@nfs ~]# ps -ef|grep nfs

共享存储-客户端

# 1.查看挂载点
 [root@web01 html]# showmount -e 172.16.1.31
 Export list for 172.16.1.31:
 /data 172.16.1.0/24
 
 # 2.创建用户数据目录
 [root@web01 html]# mkdir /var/www/html/user_data
 
 # 3.挂载用户数据目录
 [root@web01 html]# mount -t nfs 172.16.1.31:/data /var/www/html/user_data/
 
 # 4.检查挂载点
 [root@web02 html]# df -h
 Filesystem   Size Used Avail Use% Mounted on
 172.16.1.31:/data 19G 1.4G 18G 8% /var/www/html/user_data

测试上传图片

[root@web01 html]# ll user_data/
 total 76
 -rw-r--r-- 1 www www 76653 May 19 18:47 33_wjh.jpg.jpg
 
 [root@web02 html]# ll user_data/
 total 76
 -rw-r--r-- 1 www www 76653 May 19 18:47 33_wjh.jpg.jpg
 
 [root@nfs ~]# ll /data/
 total 76
 -rw-r--r-- 1 www www 76653 May 19 18:47 33_wjh.jpg.jpg

配置backup服务端

# 1.创建www用户
 [root@backup ~]# groupadd www -g 666
 [root@backup ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M
 
 # 2.修改rsync配置文件中 修改指定用户 修改指定备份的目录
 [root@backup ~]#  vim /etc/rsyncd.conf
 uid = www
 gid = www
 port = 873
 fake super = yes
 use chroot = no
 max connections = 200
 timeout = 600
 ignore errors
 read only = false
 list = false
 auth users = www
 secrets file = /etc/rsync.passwd
 log file = /var/log/rsyncd.log
 #####################################
 [nfs_backup]
 comment = welcome to oldboyedu backup!
 path = /backup
 
 [nfs_data]
 comment = welcome to oldboyedu backup!
 path = /data
 
 # 3.设置密码
 [root@backup ~]# vim /etc/rsync.passwd 
 www:123
 
 # 4.创建指定目录
 [root@backup ~]# mkdir /data
 [root@backup ~]# mkdir /backup
 
 # 5.修改指定目录权限
 [root@backup ~]# chown www:www /backup/
 [root@backup ~]# chown www:www /data/
 
 # 6.启动rsync服务
 [root@backup ~]# systemctl start rsyncd
 
 # 7.添加开机自启
 [root@backup ~]# systemctl enable rsyncd
 
 # 8.检查进程
 [root@backup ~]# ps -ef|grep [r]sync
 root     6352      1  0 18:37 ?   00:00:00 /usr/bin/rsync --daemon --no-detach
 
 # 9.检查端口
 [root@backup ~]# netstat -lntup|grep 873

配置rsync客户端

# 1.安装inotify
 [root@nfs ~]# yum install -y inotify-tools
 
 # 2.编写rsyncd脚本
 [root@nfs ~]# vim rsync_inotify.sh
 
 #!/bin/bash
 dir=/data/
 export RSYNC_PASSWORD=123
 inotifywait -mrq --format %w %f -e create,delete,attrib,close_write $dir|while read line;do
         rsync -az --delete $dir www@172.16.1.41::nfs_data
 done &
 
 
 # 3.启动脚本，并查看/data/内容
 [root@nfs ~]# sh rsync_inotify.sh
 [root@nfs ~]# ll /data
 total 76
 -rw-r--r-- 1 www www 76653 May 19 18:59 33_wjh.jpg.jpg
 
 # 4.rsync服务端查看是否成功
 [root@backup ~]# ll /data/
 total 76
 -rw-r--r-- 1 www www 76653 May 19 18:59 33_wjh.jpg.jpg

修改web客户端脚本

# 1.编辑脚本
 [root@web01 ~]# vim nfs_backup.sh
 [root@web02 ~]# vim nfs_backup.sh
 #!/bin/bash
 bak_dir="/var/www/html/user_data"
 host_name=`hostname`
 ip=`/usr/sbin/ifconfig eth1|awk NR==2print $2`
 date_time=`date +%F`
 export RSYNC_PASSWORD=123
 cd $bak_dir && \\
 tar zcf $bak_dir/$host_name_$ip_$date_time.tar.gz ./
 cd $bak_dir && \\
 md5sum $host_name_$ip_$date_time.tar.gz > $host_name_$ip_$date_time.md5
 rsync -avz $bak_dir/ www@172.16.1.41::backup
 
 # 2.加入定时任务
 [root@web01 ~]# crontab -e
 [root@web02 ~]# crontab -e
 */5 * * * * /usr/sbin/ntpdate time1.aliyun.com >/dev/null
 00 01 * * * /bin/sh /root/nfs_backup.sh &>/dev/null

编辑rsync服务端

# 1.编辑md5脚本
 [root@backup ~]# vim check_md5.sh
 #!/bin/bash
 bak_dir="/backup"
 host_name=`hostname`
 ip=`ifconfig eth1|awk NR==2print $2`
 date_time=`date +%F`
 cd $bak_dir && \\
 md5sum -c *$date_time.md5|mail -s "$date_time_数据备份校验" [e-mail] >/dev/null
 find /backup -type f ! -mtime -180|xargs rm -f
 
 # 2.加入定时任务
 [root@backup ~]# crontab -e
 01 01 * * * /bin/sh /root/check_md5.sh &>/dev/null
 
 # 3.依次执行脚本
 [root@web01 ~]# sh nfs_backup.sh
 [root@web02 ~]# sh nfs_backup.sh
 [root@nfs ~]# sh rsync_inotify.sh
 [root@backup ~]# sh check_md5.sh

#查看是否共享
[root@web01 html]# ll user_data/
total 768
-rw-r--r-- 1 www www  76653 May 19 20:31 33_wjh.jpg.jpg
-rw-r--r-- 1 www www    392 May 19 20:23 nfs_backup.sh
-rw-r--r-- 1 www www     69 May 19 20:25 web01_172.16.1.7_2022-05-19.md5
-rw-r--r-- 1 www www 394975 May 19 20:25 web01_172.16.1.7_2022-05-19.tar.gz
-rw-r--r-- 1 www www     69 May 19 20:24 web02_172.16.1.8_2022-05-19.md5
-rw-r--r-- 1 www www 295932 May 19 20:24 web02_172.16.1.8_2022-05-19.tar.gz

[root@web02 html]# ll user_data/
total 768
-rw-r--r-- 1 www www  76653 May 19 20:31 33_wjh.jpg.jpg
-rw-r--r-- 1 www www    392 May 19 20:23 nfs_backup.sh
-rw-r--r-- 1 www www     69 May 19 20:25 web01_172.16.1.7_2022-05-19.md5
-rw-r--r-- 1 www www 394975 May 19 20:25 web01_172.16.1.7_2022-05-19.tar.gz
-rw-r--r-- 1 www www     69 May 19 20:24 web02_172.16.1.8_2022-05-19.md5
-rw-r--r-- 1 www www 295932 May 19 20:24 web02_172.16.1.8_2022-05-19.tar.gz

[root@nfs ~]# ll /data/
total 768
-rw-r--r-- 1 www www  76653 May 19 20:31 33_wjh.jpg.jpg
-rw-r--r-- 1 www www    392 May 19 20:23 nfs_backup.sh
-rw-r--r-- 1 www www     69 May 19 20:25 web01_172.16.1.7_2022-05-19.md5
-rw-r--r-- 1 www www 394975 May 19 20:25 web01_172.16.1.7_2022-05-19.tar.gz
-rw-r--r-- 1 www www     69 May 19 20:24 web02_172.16.1.8_2022-05-19.md5
-rw-r--r-- 1 www www 295932 May 19 20:24 web02_172.16.1.8_2022-05-19.tar.gz

[root@backup ~]# ll /data/
total 768
-rw-r--r-- 1 www www  76653 May 19 20:31 33_wjh.jpg.jpg
-rw-r--r-- 1 www www    392 May 19 20:23 nfs_backup.sh
-rw-r--r-- 1 www www     69 May 19 20:25 web01_172.16.1.7_2022-05-19.md5
-rw-r--r-- 1 www www 394975 May 19 20:25 web01_172.16.1.7_2022-05-19.tar.gz
-rw-r--r-- 1 www www     69 May 19 20:24 web02_172.16.1.8_2022-05-19.md5
-rw-r--r-- 1 www www 295932 May 19 20:24 web02_172.16.1.8_2022-05-19.tar.gz