IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 聊聊 mysql 事务?(二:redo log保证事务持久性) -> 正文阅读

[大数据]聊聊 mysql 事务?(二:redo log保证事务持久性)

????????我们知道,事务的四大特性之一是持久性,那么MySQL如何保证已经提交的事务对数据库中的数据的修改永久生效,包括系统崩溃或重启后能正常恢复呢?

? ? ? ? 假设没有redo log,我们在进行事务操作时,数据是先写到内存中的,即Buffer Pool,假设此时系统崩溃了,那么就会造成数据丢失,无法保证持久性。

? ? ? ? 可能有的人会想,那直接刷盘不就行了,但是想想看,MySQL为啥要先写入BufferPool而不是直接刷盘,不就是为了提高性能嘛,一次事务可能涉及到多张表,多个索引,这些需要操作的页都不一定是连续的,会产生很多的随机IO,这是我们无法接受的。

? ? ? ? 因此,mysql用的redo log来记录这些数据变化,比如记录 “第spaceID号表空间第pageNumber号页面偏移量为N处的xx改为xx”?,这样是不是直接比刷脏来的快的多了?肯定会有人问,那如果还没有写入redoLog,此时系统奔溃怎么办?这样的话,事务不算成功,数据应该恢复到事务开始前的状态,所以满足持久性。

????????

? ? ? ??系统崩溃,mysql重启后只要按照redo log中记录的步骤重新恢复一下数据页,那么事务对数据库做的修改就可以被恢复了,和直接刷盘相比,redo log有下列好处:

  1. redo日志占用的空间很小,只记录了数据变化,不是记录整条数据。
  2. redo日志是顺序写入磁盘的,即顺序IO。

? ? ? ? 和写数据一样,为了提高效率,MySQL也不是直接写到redo log(磁盘)里的,缓存多多益善嘛。MySQL启动时会跟系统申请一片16MB的内存即log buffer,分为n个block,和数据页一样,每个block header存储一些管理信息,tail存储一些校验字段,block body才是真正存储log的。扯远了~

? ? ? ? 那么什么时候把 log buffer刷到磁盘中呢?:

  • 当buffer空间不足时,默认buffer中的redo日志量占用总buffer容量的50%时。
  • 事务提交时:为了保证持久性,每次提交事务立刻把页面修改时对应的redo log刷到磁盘,否则系统崩溃后,数据无法复原。
  • 脏页刷到磁盘前:脏页刷到磁盘前,会保证脏页对应的redo log也刷到磁盘。
  • 后台有一个线程,大概以每秒一次的频率刷新。
  • 正常关闭服务器时,会把所有buffer刷到磁盘。
  • checkpoiont时。

? ? ? ? 前面几个都好理解,那么什么是checkpoint?我们知道,redo log日志是循环写入的,在服务器初始化时已经指定了总共有多少个redo log文件,每个文件最大空间是多少。那么这些文件总有写满的一天,所以MySQL用了循环写的概念,即队尾满了以后回到队头继续写。

? ? ? ? 那么问题来了,那不覆盖了队头的数据了吗?怎么保证持久性?

? ? ? ? 不用担心,当我们log写满队尾后,队头的数据大概率已经被刷到磁盘上啦。写redo log的目的就是为了数据持久性,系统奔溃后能进行数据恢复,那么如果队头的数据已经被刷新到磁盘上了,也就不要被恢复了,换而言之,这片空间可以被废物利用,覆盖了。

? ? ? ? 那么MySQL是怎么知道这片数据有没有被刷到磁盘里的呢?就是通过checkpoint_lsn啦。lsn:log sequence number,系统写入的redo日志量。

? ? ? ? ?系统按照页的修改,头插法插入到flush链表中,每个控制块分别记录该页第一次修改时对应的lsn值(old_m)以及最后一次修改时对应的lsn值,也就是说,链尾的结点是最先修改的页。系统会定时把这些脏页刷到磁盘中,也就是说,该页对应的redo log可以被覆盖了!MySQL把当前flush链表中最先修改的那页的old_m值赋给checkpoint_lsn,那么lsn小于checkpoint_lsn的空间,就可以被覆盖了。这就叫一次checkpoint。

? ? ? ? 需要注意的是,不是每次flush脏页,都会进行一次checkpoint,这两个任务一般情况下是不同线程执行的,checkpoint是指,从flush链表中计算最大可以被覆盖的redo日志对应的lsn值,然后更新到redo日志中的管理信息中去。

? ? ? ? 下篇文章聊一下如何从redo log恢复数据。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-09-21 00:35:41  更:2022-09-21 00:36:21 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2025年1日历 -2025/1/15 23:38:05-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码