Journal日志与oplog日志的区别

Posted 我要出家当道士

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Journal日志与oplog日志的区别相关的知识,希望对你有一定的参考价值。

目录

一、概念的不同

1、Journal日志

2、Oplog日志

二、数据范围不同


        在学习mongoDB基础知识的时候,可能有些概念会混淆,比如 Journal日志与oplog日志有啥区别。

        下面的内容主要摘选自《MongoDB原理与实战》张友东著

一、概念的不同

1、Journal日志

        Journal日志是MongoDB 存储引擎层的机制, ⽬前 MongoDB 所有的存储引擎都⽀持配置Journal,自2.0开始默认开启。在MongoDB中所有的数据写⼊、读取最终都是调存储引擎层的接口实现的, 而 Journal 日志是用来记录写操作的,以实现数据故障恢复和持久化数据的目的。

        以wiredtiger 为例,如果不配置 Journal,写⼊ wiredtiger 的数据,并不会⽴即持久化存储; ⽽是每分钟会做⼀次全量的checkpoint(storage.syncPeriodSecs 配置项, 默认为1分钟) ,将所有的数据持久化。如果中间出现宕机, 那么数据只能恢复到最近的⼀次checkpoint,这样最多可能丢掉最近1分钟的数据。而当开启Journal日志后,写入数据库的每个操作都会被记录,当出现宕机时,在恢复至最近的checkpoint点后,可以继续重放后续的操作日志,恢复数据。

2、Oplog日志

        Oplog日志默认在mongoDB的副本集模式下开启。Oplog日志主要用于Primary节点和Secondary节点的数据同步,Oplog记录了Primary节点的所有的写操作,Secondary节点通过定期拷贝Primary节点的Oplog实现增量备份。

        自mongoDB3.6新增的changestream机制也是基于oplog实现的。ChangeStreams 在 Oplog 之上包裹一层应用,对外提供一个 API 接口,将数据进行实时推送。

 图选自《mongodb入门实战》

二、数据范围不同

        以mongoDB 副本集中的一次插入数据为例,在数据层面分为下面三个步骤:

                1. 将⽂档数据写⼊对应的集合

                2. 更新集合的所有索引信息

                3. 写⼊⼀条oplog⽤于同步

        上⾯3个修改操作,需要确保要么都成功,要么都失败。MongoDB 在写⼊数据时, 会将上述3个操作放到⼀个 wiredtiger 的事务⾥, 确保「原⼦性」 。如下所示:

// 开始事务
beginTransaction();
// 插入数据的三个步骤
writeDataToColleciton();
writeCollectionIndex();
writeOplog();
//提交事务
commitTransaction();

           执行顺序如下图所示:

         wiredtiger 提交事务时, 会将所有修改操作应⽤, 并将上述3个操作写⼊到⼀条 journal 操作日志里; 后台会周期性的checkpoint, 将修改持久化, 并移除无用的journal。从数据布局看, oplog 与 journal 的关系如下所示:

以上是关于Journal日志与oplog日志的区别的主要内容,如果未能解决你的问题,请参考以下文章

Mongodb之journal与oplog

[转] MonogdbMongoDB的日志系统

MongoDB中4种日志的详细介绍

rsyslog与journal日志架构

MongoDB更改oplog的大小

根据备份文件和 oplog恢复数据到某个时间点,为啥报不能恢复