基于Go的MongoDB实时同步工具及 Docker 化实践

Posted 2021-05-01 IT大咖说

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了基于Go的MongoDB实时同步工具及 Docker 化实践相关的知识，希望对你有一定的参考价值。

内容来源：2017年2月25日，讯联数据高级软件工程师马艳云在“New version, New vision”进行《基于Go的MongoDB实时同步工具及Docker化实践》演讲分享。IT 大咖说作为独家视频合作方，经主办方和讲者审阅授权发布。

阅读字数：1772 | 4分钟阅读

摘要

讯联数据高级软件工程师马艳云分享了基于Go的MongoDB实时同步工具Magisync及 Docker化实践。

基于Go的MongoDB实时同步工具及 Docker 化实践

Magisync是什么

Magisync是用Go语言开发的MongoDB到MongoDB或其他多种数据库之间的实时同步工具。

为什么选择 Go

在我们的生产应用当中，对Go语言有比较成熟的应用。我们的核心交易系统就是 Go 语言开发的。从开发到运行，Go 语言相对来说语法比较简单，使用方便。还有一个原因就是在 GitHub 上有一个用 Go 语言开发的同步的程序可以供我们参考。

为什么开发 Magisync

交易量日益增多，从2015年8月到2016年8月，我们的交易量整整增长了100倍，原有的系统架构不能满足业务需求。我们要通过数据库拆分实现冷热数据分离，灾备系统的搭建要跨机房同步，这一系列需求导致我们需要找到一个工具能够支持MongoDB的数据，而当时市面上并没有适合我们的MongoDB实时同步工具。

于是我们不得不自己开发这样一款工具，但当时对于我们来说这也是非常具有挑战性的一件事，因为我们做金融支付对数据的实时一致性要求非常高。

基于Go的MongoDB实时同步工具及 Docker 化实践

Magisync 同步特性

支持从特定时间点开始同步，支持选择同步特定表的特定类型的操作，支持断点续传式同步，QPS目前在3000左右，支持限流。

Magisync 同步原理

简单来说，Magisync一直监听MongoDB的日志集合oplog ，如果源数据库有新的操作产生，oplog集合中会生成有新的记录，这时，Magisync会立刻拿到oplog中新的日志记录，并将其实时的同步至目标数据库。Magisync同步的核心就是oplog。

Oplog

Oplog是MongoDB的复制集存储写操作的一个日志，它的存储位置是在local库的oplog.rs表中。这张表是Capped Collection类型，是MongoDB特有的一种类型，可以用类似于Unix中的tail -f命令来获取oplog。

Oplog 的格式

不同版本的 oplog 的格式稍有不同，我们生产环境使用的 MongoDB的版本是3.0.3, oplog 示例如下：

 
   
   
 
  
    
    
  {
  
    
    
  "ts" : Timestamp(1477194593, 1),
  
    
    
  "t" : NumberLong(12),
  
    
    
  "h" : NumberLong(8657529515144482533),
  
    
    
  "v" : NumberInt(2),
  
    
    
  "op" : "i",
  
    
    
  "ns" : "caroldb.user",
  
    
    
  "o" : {
  
    
    
  "_id" : ObjectId("580c333e7afa56085f89a00d"),
  
    
    
  "name" : "mike",
  
    
    
  "age" : NumberInt(20)
  
    
    
  }
  
    
    
  }