MongoDB自动备份全过程实录

Posted 2021-05-01 IT牧场

前段时间，个人小程序 IT牧场 因服务器磁盘空间被占满，导致MongoDB挂了。清理了一些无用的数据后，重启MongoDB，竟然无法启动，一番折腾（20分钟）后，总算修复了。这让我意识到：虽然是个人小项目，但也必须定期备份啊，否则数据丢了很尴尬的说。

碎碎念

•我不是MongoDB高手，之所以选择MongoDB，是因为需求不明确——MongoDB很适合不明确需求场景的开发。•个人对Elasticsearch更熟悉，Elasticsearch也很适合不定需求的业务开发；但个人服务器只有1G内存，用Elasticsearch得升级服务器，得花好多钱啊啊啊。

MongoDB备份比较简单，只需用内置的 mongodump 即可，命令格式如下：

mongodump -h {mongodb主机名}:{端口} -u {账号} -p {密码} -d {数据库名称} -o {存储路径}

然而，笔者为MongoDB设置的密码是带有特殊字符的，例如 @#$\ 之类，直接以如上形式执行命令，会报错！

所以笔者选择不带 -p 参数执行命令，即：

mongodump -h {mongodb主机名}:{端口} -u {账号} -d {数据库名称} -o {存储路径}

然后，命令提示符会提示输入密码。例如：

# mongodump -h 127.0.0.1 -u user -d itmuch -o /tmp/somepathEnter password:

至此已实现MongoDB的备份。然而，手动备份还是挺麻烦的，怎么实现备份的自动化呢？

自动备份

正常来说，自动备份是比较简单的——只需将手动备份的命令做成Shell脚本，并设置定时任务即可。然而，笔者的场景，命令是需要交互式输入密码的啊！

怎么才能自动输入密码呢？expect 登场了——一款提供自动交互的工具。

安装expect

yum install -y expect

编写expect脚本

expect语法非常简单，和Shell几乎一样。笔者的脚本编写如下：

#!/bin/expect# spawn是expect的语句，执行命令前需添加该字眼set DATE [exec date "+%Y-%m-%d"]set DIR /xxxxx/dbbak-$DATEspawn rm -rf $DIRspawn echo 'removing...$DIR'spawn mongodump -h {host:port} -u {user} -d {dbname} -o $DIR# 交互获取是否返回password:关键字expect "password:"# 将密码发送过去，注意最后的换行不能少，否则得人工输入回车。send "密码\r"# 停留在远程控制台，没有这行就会直接返回本地控制台，而不等shell执行完interact

注释很全面了，聪明的你阅读肯定没有压力。最终备份出来的文件会存放在 /xxxxx/dbbak-备份日期 目录中。

自动备份

笔者利用Linux定时任务实现自动执行。

crontab -e

在新窗口中添加如下内容：

0 0 1 * * ? /usr/bin/expect 上面expect shell的完整路径

原本以为这样就可以定时执行了，然而却无法正常执行。

百度后，将脚本修改为如下，终于可以正常执行了。

#!/bin/expect# spawn是expect的语句，执行命令前需添加该字眼set DATE [exec date "+%Y-%m-%d"]set DIR /xxxxx/dbbak-$DATEspawn rm -rf $DIRspawn echo 'removing...$DIR'spawn mongodump -h {host:port} -u {user} -d {dbname} -o $DIR# 交互获取是否返回password:关键字expect "password:"# 将密码发送过去，注意最后的换行不能少，否则得人工输入回车。send "密码\r"
set timeout 120expect eof
exit

总结

本文没什么难点，都是一些细节——

•因为密码含有特殊字符，所以需要交互式输入密码；•因为要交互式输入密码，所以使用了expect

写出来主要是总结下踩到的坑，另外，expect是一款通用的提供自动交互的工具，用来实现ssh的自动登录、sftp的自动登录、mysql的自动登录等。脚本的套路都和本文展示的结构基本类似。

干货分享

•001：《Java并发与高并发解决方案》学习笔记；•002：《深入JVM内核——原理、诊断与优化》学习笔记；•003：《Java面试宝典》•004：《Docker开源书》•005：《Kubernetes开源书》•006：《DDD速成（领域驱动设计速成）》•007：全部•008：加技术群讨论

参考文档

•Shell脚本交互之：自动输入密码^[1]•由crontab执行expect脚本问题引发的–crontab环境变量问题^[2]•crontab定时任务不执行 expect^[3]

近期热文

•••••••

关注我

References

[1] Shell脚本交互之：自动输入密码: https://blog.csdn.net/zhangjikuan/article/details/51105166
[2] 由crontab执行expect脚本问题引发的–crontab环境变量问题: https://blog.csdn.net/whrail/article/details/5985404
[3] crontab定时任务不执行 expect: https://blog.csdn.net/u012040869/article/details/83788493

喜欢就点个"在看"呗^_^