记一次生产上因fstab配置错误造成的应用拉起失败

Posted 2021-12-04 loong576

一、背景

云上虚机做切换演练，应用架构为集群模式，服务器上也部署了自启动脚本，理论上只要重启服务器然后检查应用和业务状态就行，但是重启后应用启动不了，手动执行自启动脚本或手动执行应用拉起命令也失败。

二、生产环境模拟

1.模拟文件系统

[root@node01 <sub>]# lvcreate -L +10G -n logs root-vg
[root@node01 </sub>]# mkfs.xfs /dev/root-vg/logs
[root@node01 ~]# mount /dev/root-vg/logs /home/loong/logs

新建lv logs，文件系统挂载点为/home/loong/logs，此时文件系统/home和/home/loong/logs使用率都为1%。

2.模拟生产目录结构

目录结构说明：/home/loong为应用目录，存储了应用包、启停命令等内容；/home/loong/logs为日志目录，存储了应用的日志。

[root@node01 ~]# cd /home
[root@node01 /home]# mkdir loong
[root@node01 /home]# cd loong/
[root@node01 /home/loong]# mkdir log

3.模拟应用和日志文件

[root@node01 /home/loong]# touch {1..5}.txt
[root@node01 /home/loong]# touch app{1..10

app1--app10和1.txt--5.txt模拟应用目录/home/loong下的应用文件

[root@node01 /home/loong]# cd logs/
[root@node01 /home/loong/logs]# dd if=/dev/zero bs=100M count=3 of=/home/loong/logs/error.log 
[root@node01 /home/loong/logs]# dd if=/dev/zero bs=100M count=3 of=/home/loong/logs/info.log 
[root@node01 /home/loong/logs]# dd if=/dev/zero bs=100M count=3 of=/home/loong/logs/alert.lo

模拟日志error.log、info.log和alert.log，大小都为300M

可以看到此时文件系统/home/loong/logs使用率已经涨到了10%

4.模拟生产/etc/fstab配置

[root@node01 /home/loong/logs]# more /etc/fsta

文件系统/dev/mapper/root--vg-logs的挂载点被错误的设置为/home/loong

三、生产环境复现

1.重启服务器

服务器重启前在应用目录/home/loong下我们可以看到txt和app文件，在日志目录/home/loong/logs可以看到3个日志文件，现在重启服务器，模拟生产切换

[root@node01 ~]# init 

2.文件检查

重启服务器后检查文件，发现应用目录下/home/loong的所有txt和app文件丢失，呈现的是原来的3个日志文件。

3.手动恢复

首先umount /home/loong，如果执行不成功可以用fuser -k /home/loong命令杀掉暂用该目录的进程

手动的umount /home/loong后发现该目录原来的txt和app文件已经能被看到，但是logs目录下还为空

[root@node01 /home/loong/logs]# mount /dev/root-vg/logs /home/loong/logs

手动挂载并重新登陆/home/loong/logs后看到了3个日志目录。

4.问题解决

修改/etc/fstab，将日志挂载点修改为正确的/home/loong/logs

修改完后再次重启验证，发现日志挂载点正常，应用和日志目录文件均正常，问题解决。

四、总结

晚上做变更的时候nginx应用各种方式都起不来，报配置有误，仔细检查各个配置文件没发现有什么问题，然后检查应用目录，发现里面的文件很不正常，包和启停脚本都丢失了，而且还多了日志文件，于是怀疑是挂载的问题，检查/etc/fstab文件果然是配置有误。

/etc/fstab是用来存放文件系统的静态信息的文件，当系统启动的时候，系统会自动地从这个文件读取信息，并且会自动将此文件中指定的文件系统挂载到指定的目录。该文件很重要，一定要配置正确，否则可能会引起大问题。