[大数据]Journal日志与oplog日志的区别

目录

一、概念的不同

1、Journal日志

2、Oplog日志

二、数据范围不同

????????在学习mongoDB基础知识的时候，可能有些概念会混淆，比如 Journal日志与oplog日志有啥区别。

? ? ? ? 下面的内容主要摘选自《MongoDB原理与实战》张友东著

一、概念的不同

1、Journal日志

????????Journal日志是MongoDB 存储引擎层的机制， ?前 MongoDB 所有的存储引擎都?持配置Journal，自2.0开始默认开启。在MongoDB中所有的数据写?、读取最终都是调存储引擎层的接口实现的， 而 Journal 日志是用来记录写操作的，以实现数据故障恢复和持久化数据的目的。

????????以wiredtiger 为例，如果不配置 Journal，写? wiredtiger 的数据，并不会?即持久化存储； ?是每分钟会做?次全量的checkpoint（storage.syncPeriodSecs 配置项， 默认为1分钟） ，将所有的数据持久化。如果中间出现宕机， 那么数据只能恢复到最近的?次checkpoint，这样最多可能丢掉最近1分钟的数据。而当开启Journal日志后，写入数据库的每个操作都会被记录，当出现宕机时，在恢复至最近的checkpoint点后，可以继续重放后续的操作日志，恢复数据。

2、Oplog日志

? ? ? ? Oplog日志默认在mongoDB的副本集模式下开启。Oplog日志主要用于Primary节点和Secondary节点的数据同步，Oplog记录了Primary节点的所有的写操作，Secondary节点通过定期拷贝Primary节点的Oplog实现增量备份。

? ? ? ? 自mongoDB3.6新增的changestream机制也是基于oplog实现的。ChangeStreams 在 Oplog 之上包裹一层应用，对外提供一个 API 接口，将数据进行实时推送。

?图选自《mongodb入门实战》

二、数据范围不同

? ? ? ? 以mongoDB 副本集中的一次插入数据为例，在数据层面分为下面三个步骤：

????????????????1. 将?档数据写?对应的集合

????????????????2. 更新集合的所有索引信息

????????????????3. 写??条oplog?于同步

????????上?3个修改操作，需要确保要么都成功，要么都失败。MongoDB 在写?数据时， 会将上述3个操作放到?个 wiredtiger 的事务?， 确保「原?性」 。如下所示：

// 开始事务
beginTransaction();
// 插入数据的三个步骤
writeDataToColleciton();
writeCollectionIndex();
writeOplog();
//提交事务
commitTransaction();

? ? ? ? ? ?执行顺序如下图所示：

?????????wiredtiger 提交事务时， 会将所有修改操作应?， 并将上述3个操作写?到?条 journal 操作日志里； 后台会周期性的checkpoint， 将修改持久化， 并移除无用的journal。从数据布局看， oplog 与 journal 的关系如下所示：