误删除线上无备份mongodb 1800万数据表的心路历程

Posted 2020-11-18 teemohq

   2018-06-14 15:32 ，我误删除掉线上mongodb集群的表。

  ok，mongobooster是有stop按钮。点击停止救命一下。但是，根本停不掉，每刷新一下都能看到表单在1M递减的速度减少，每刷新一次 头晕就加重脑海飞速想解决方案

   历程：

  1.找运维，拿备份。  找了许久竟然没近期备份，最近的是五月初，我的天，我快倒在地上了。

  2.竟然mongodb的collection是文件存储，那么靠运维磁盘中找到原来文件，400多G磁盘需要半小时检索。这半小时 ，看着异常不断增多，崩溃，每一秒都难受

  3.这时间 我想运维解决，不敢和上层说。但最后还是鼓起勇气，当面说了，一起找解决方案，幸运的是，该表的数据可以从其他表拼凑出来，那么写小工具检索其他表拿数据插表

  4.两头一起做，其中文件没找回来，各种google解决方案，然而并没方案恢复mongodb表数据，难受，赶紧写工具。

  5.写好工具，简单估算时间，由于检索的表数据量很大。竟然需要9小时，期间万一出点幺蛾子，我的天，我不行了。

  6.冷静，一起优化代码   ，最后完成新的工具，估算时间差不多1小时半小时左右 吐了半口气。

  7.盯着程序，还好稳定执行 生成新的表。解决mq等线上的一些错误弄完 2018-06-14 19:00左右 结束。

这几个小时的压力，哇，说不出来难受，绝望是最好的形容。

阿门，佛祖保佑。不要再来一次了。端午去寺庙吧。