| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> MySQL(六)日志管理 、备份与恢复 -> 正文阅读 |
|
[大数据]MySQL(六)日志管理 、备份与恢复 |
目录 2、专用备份工具 mysqldump 或 mysqlhotcopy 前言????????随着办公自动化和电子商务的发展,企业对信息系统的依赖性越来越高,数据库作为信息系 统的核心担当着重要的角色。数据库备份实在数据丢失的情况下,能及时恢复重要数据防止数据丢 失的一种重要手段。 一、数据备份的重要性(1)在生产环境中,数据的安全性至关重要 (2)任何数据的丢失都可能产生严重的后果 (3)备份的主要目的是灾难恢复 (4)造成数据丢失的原因:①程序错误;②人为操作错误;③运算错误;④磁盘故障;⑤灾难 (如火灾,地震)和盗窃。 二、MySQL日志????????备份的主要目的是灾难恢复,备份还可以测试应用、回滚数据修改、查询历史数据、审计 等。而备份、恢复中,日志起到了很重要的作用。 MySQL 的日志默认保存位置为 /usr/local/mysql/data。 1、日志类型与作用①、 redo 重做日志:达到事务一致性(每次重启会重做) 作用:确保日志的持久性,防止在发生故障,脏页未写入磁盘。重启数据库会进行redolog执行重做, 达到事务一致性。 ②、undo回滚日志 作用:保证数据的原子性,记录事务发生之前的一个版本,用于回滚,innodb事务可重复读和读取 已提交。隔离级别就是通过mvcc+undo实现。 ③、errorlog错误日志 作用:Mysql本身启动,停止,运行期间发生的错误信息。 ④、slow auery log 慢查询日志 作用:记录执行时间过长的sql,时间阈值可以配置,只记录执行成功。 另一个作用:在于提醒优化。 ⑤、bin log二进制日志 作用:用于主从复制,实现主从同步。 记录的内容是:数据库中执行的sql语句。 ⑥、relay log中继日志 作用:用于数据库主从同步,将主库发来的bin log保存在本地,然后从库进行回放。 ⑦、general log普通日志 作用:记录数据库的操作明细,默认关闭,开启后会降低数据库性能。 2、MySQL配置文件中实现日志功能修改配置文件开启日志vim /etc/my.cnf [mysqld] ##错误日志,用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启 log-error=/usr/local/mysql/data/mysql_error.log???? #指定日志的保存位置和文件名 ##通用查询日志,用来记录MySQL的所有连接和语句,默认是关闭的 general_log=ON general_log_file=/usr/local/mysql/data/mysql_general.log ##二进制日志(binlog),用来记录所有更新了数据或者已经潜在更新了数据的语句,记录了数据的更改,可用于数据恢复,默认已开启 log-bin=mysql-bin????? 或 log_bin=mysql-bin ##中继日志 一般情况下它在Mysql主从同步(复制)、读写分离集群的从节点开启。主节点一般不需要这个日志 ##慢查询日志,用来记录所有执行时间超过long_query_time秒的语句,可以找到哪些查询语句执行时间长,以便提醒优化,默认是关闭的 s1ow_query_log=ON slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log long_query_time=5??????? #设置超过5秒执行的语句被记录,缺省时为10秒 #二进制日志开启后,重启mysql会在目录中查看到二进制日志(在每次重启的时候会刷新这个文件) cd/usr/local/mysql/ data ls mysql-bin.000001 #开启二进制日志时会产生一个索引文件及一个索引列表 mysql-bin.index? 这个会记录二进制文件的位置(二进制文件的索引) 索引文件:记录更新语句 索引文件刷新方式: ①、重启mysql的时候会更新索引文件,用于记录新的更新语句 ②、刷新二进制日志。二进制日志文件的索引mysql-bin.index 3、日志查询
三、数据备份类型1、物理备份????????数据库备份可以分为物理备份和逻辑备份。物理备份是对数据库操作系统的物理文件(如数 据文件、日志文件等)的备份。这种类型的备份适用于在出现问题的时候需要快速恢复的大型重要 数据库。 物理备份又可以成为冷备份(脱机备份)、热备份(连接备份)和温备份 ① 冷备份 (脱机备份) :是在关闭数据库的时候进行的(tar) ② 热备份 (联机备份) :数据库处于运行状态,依赖于数据库的日志文件(mysqlhotcopy mysqlbackup) ③ 温备份 :数据库锁定表格(不可写入但可读)的状态下进行备份操作(mysqldump) 2、逻辑备份????????逻辑备份是对数据库逻辑组件的备份.表示为逻辑数据库结构,这种类型的备份适用于可以编 辑数据值或表结构。从数据库的备份策略角度来看,备份又可分为完全备份、差异备份和增量备 份。 ① 完全备份 ????????每次对数据进行完整备份,即对整个数据库、数据库结构和文件结构的备份,保存的是备份 完成时刻的数据库,是差异备份与增量备份的基础。完全备份的备份与恢复操作都非常简单方便, 但是数据存在大量的重复并且会占用大量的磁盘空间,备份的时间也很长。 特点:每次都进行完全备份,会导致备份文件占用空间巨大,并且有大量的重复数据,恢复时,直 接使用完全备份的文件即可。 ② 差异备份 ????????备份那些自从上次完全备份之后被修改过的所有文件,备份的时间节点是从上次完整备份 起,备份数据量会越来越大。恢复数据时只需要恢复上次的完全备份与最佳的一次差异备份。 特点:每次差异备份,都会备份上一次完全备份之后的数据,可能会出现重复数据。恢复时,先恢 复完全备份的数据,再恢复差异备份的数据。 ③ 增量备份 ????????只有那些在上次完全备份或者增量备份后被修改的文件才会被备份以上次完整备份或上次增 量备份的时间为时间点,仅备份期间内的数据变化,因而备份的数据量小,占用空间小,备份速度 快。但恢复时,需要从上一次的完整备份开始到最后一次增量备份之间的所有增量依次恢复,如中 间某次的备份数据损坏,将导致数据的丢失。 特点: 每次增量备份都是备份在上一次完全备份或者增量备份之后的数据,不会出现重复数据的 情况,也不会占用额外的磁盘空间。恢复数据,需要按照次序恢复完全备份和增量备份的数据。 四、常见的备份方法1、物理冷备备份时数据库处于关闭状态,直接打包数据库文件(tar); 备份速度快,恢复时也是最简单的。 物理冷备关闭数据库的原因:因为数据库是由持续性的数据交互和数据频繁更新的特性,若不关闭 数据库,tar就无法保证数据的更新与一致性。 2、专用备份工具 mysqldump 或 mysqlhotcopymysqldump 常用的逻辑备份工具 mysqlhotcopy 仅拥有备份 MyISAM 和 ARCHIVE 表 3、启用二进制日志进行增量备份进行增量备份,需要刷新二进制日志 ????????MySQL支持增量备份,进行增量备份时必须启用二进制日志。二进制日志文件为用户提供复 制,对执行备份点后进行的数据库更改所需的信息进行恢复。如果进行增量备份(包含自上次完全 备份或增量备份以来发生的数据修改),需要刷新二进制日志。 4、第三方工具备份免费的MySQL 热备份软件 Percona XtraBackup mysqlbackup 五、MySQL 备份与恢复应用1、物理冷备份与恢复① 关闭MySQL数据库 ② 使用tar命令直接打包数据库文件夹 ③ 直接替换现有MySQL目录即可 冷备份使用tar打包,需要先关闭数据库是因为数据库仍在持续写入,不关闭会导致数据丢失。
2、mysqldump 备份与恢复MySQL自带的备份工具,可方便实现对MySQL的备份 可以将指定的库、表导出为SQL 脚本 使用命令mysq|导入备份的数据 InnoDB 存储引擎的数据库在磁盘上存储成三个文件: db.opt(表属性文件)、表名.frm(表结构文件)、 表名.ibd(表数据文件)。 在命令行查看库和表(可用于脚本操作,-e的方式进行交互)#-e:在命令行对表的内容进行操 作。 [root@sql ~]# mysql -uroot -p123456 -e 'select * from class.kang' ?(1)、完全备份一个或多个完整的库 (包括其中所有的表)
(2)、完全备份 MySQL 服务器中所有的库
(3)、完全备份指定库中的部分表
?(4)、查看备份文件
?(5)、恢复数据库或表
注:mysqldump 严格来说属于温备份,会需要对表进行写入的锁定 在全量备份与恢复实验中,假设现有ky11库,ky11库中有一个test表,需要注意的一点为: ① 当备份时加 --databases ,表示针对于ky11库 #备份命令 mysqldump -uroot -p123123 --databases school > /opt/school_01.sql 备份库后 #恢复命令过程为: mysql -uroot -p123123 drop database ky11; exit mysql -uroot -p123123 < /opt/ky11_01.sql ② 当备份时不加 --databases,表示针对ky11库下的所有表 #备份命令 mysqldump -uroot -p123123 ky11 > /opt/ky11_all.sql #恢复过程: mysql -uroot -p123123 drop database ky11; create database ky11; exit mysql -uroot -p123123 ky11 < /opt/ky11_02.sql #查看ky11_01.sql 和ky11_02.sql 主要原因在于两种方式的备份(前者会从"create databases"开始,而后者则全是针对表格进行操作) 总结是从数据库的备份策略角度,备份可以氛围完全备份,差异备份和增量备份。 从物理和逻辑角度,备份可以分为物理备份(冷、热备份)、逻辑备份。 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 2:31:14- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |