mongodb数据工具

Posted Leeeo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mongodb数据工具相关的知识,希望对你有一定的参考价值。

     早期的 mongosync 和不久前360的 DBA 也出了个mongosync 的360版本(C++写的?看了mongosync ,360的没看),但是就是不给一个说增量备份的工具。前段时间,群聊天说起mongodb可用工具太少,群友们也是说想要个增量备份mongodb 的工具。备份呀!!最近不是很火吗,不是好多公司数据 被删?

    恰好自己现在mongo版本2.4 想直接升级到3.X.X ……顿时我也一脸懵逼,平时都是搞mysql 那些杂事去了,虽已无力照顾我这个接手不久的 mongodb,但是要解决问题呀。

    为了备份!为了升级!两周没日没日夜的生活开始了......

    说起 mongodb2.4  ,我自己其实也是泪奔了好长一段历史经历,太多 都是泪……就简单说了。因为工作比较忙碌,其实有时候真心没办法专心做东西,赶上公司mongodb 版本太低,config server 也是单节点结构,而且数据量原来越大,当然那把库锁    真   的   是很恼火呀,所以要升级 mongodb 从2.4 到3.2。

    我没有采取低版本一步一步网上升级( 因为多个原因 ),我情急之下拍板自己写一个同步工具完全支持官方认证版本3和5,和增量备份工具。另一方面就想练一下类C 的golang 这门语言。

    决定用这个几乎没实战过的语言做这件事情,好吧!问题一堆来了,怎么搞定并发问题、怎么保证数据双写的问题 .etc。翻遍了官方提供的好几个工具的源码,看完了一套go写的爬虫系统,熟悉了整个经典的逻辑代码,花了整整两周睡眠时间去看代码和配置基本的同步、备份架构,过程是  艰辛   的,天天在家自己熬夜(因为周末白天还有一些自费的课程只能回来加班加点了)。


上面都吐槽了这两周的事情!!!


TODO:

    类似官方提供的WEB 的操作来sync 和收费的 inc-dump(增量备份)。

同时现阶段也想把功能分享出来大家一起使用,也希望大家多给给意见,后面也会再做得更好点。  


第一个:同步工具  下载链接:

https://github.com/YuanDdQiao/dbtool/tree/master/binDownload/MongoSyncTools



以上是关于mongodb数据工具的主要内容,如果未能解决你的问题,请参考以下文章

mongodb数据处理工具

用 MongoDB Compass 可视化工具连接 MongoDB 数据库的详细过程

mongodb数据工具

使用TS封装操作MongoDB数据库的工具方法

Mongodb数据库中mongostat工具用法

MongoDB客户端及监控工具