IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> MySQL(六)日志管理 、备份与恢复 -> 正文阅读

[大数据]MySQL(六)日志管理 、备份与恢复

目录

前言

一、数据备份的重要性

二、MySQL日志

1、日志类型与作用

2、MySQL配置文件中实现日志功能

3、日志查询

三、数据备份类型

1、物理备份

2、逻辑备份

四、常见的备份方法

1、物理冷备

2、专用备份工具 mysqldump 或 mysqlhotcopy

3、启用二进制日志进行增量备份

4、第三方工具备份

五、MySQL 备份与恢复应用

1、物理冷备份与恢复

2、mysqldump 备份与恢复

总结


前言

????????随着办公自动化和电子商务的发展,企业对信息系统的依赖性越来越高,数据库作为信息系

统的核心担当着重要的角色。数据库备份实在数据丢失的情况下,能及时恢复重要数据防止数据丢

失的一种重要手段。

一、数据备份的重要性

(1)在生产环境中,数据的安全性至关重要

(2)任何数据的丢失都可能产生严重的后果

(3)备份的主要目的是灾难恢复

(4)造成数据丢失的原因:①程序错误;②人为操作错误;③运算错误;④磁盘故障;⑤灾难

(如火灾,地震)和盗窃。

二、MySQL日志

????????备份的主要目的是灾难恢复,备份还可以测试应用、回滚数据修改、查询历史数据、审计

等。而备份、恢复中,日志起到了很重要的作用。

MySQL 的日志默认保存位置为 /usr/local/mysql/data。

1、日志类型与作用

①、 redo 重做日志:达到事务一致性(每次重启会重做)

作用:确保日志的持久性,防止在发生故障,脏页未写入磁盘。重启数据库会进行redolog执行重做,

达到事务一致性。

②、undo回滚日志

作用:保证数据的原子性,记录事务发生之前的一个版本,用于回滚,innodb事务可重复读和读取

已提交。隔离级别就是通过mvcc+undo实现。

③、errorlog错误日志

作用:Mysql本身启动,停止,运行期间发生的错误信息。

④、slow auery log 慢查询日志

作用:记录执行时间过长的sql,时间阈值可以配置,只记录执行成功。

另一个作用:在于提醒优化。

⑤、bin log二进制日志

作用:用于主从复制,实现主从同步。

记录的内容是:数据库中执行的sql语句。

⑥、relay log中继日志

作用:用于数据库主从同步,将主库发来的bin log保存在本地,然后从库进行回放。

⑦、general log普通日志

作用:记录数据库的操作明细,默认关闭,开启后会降低数据库性能。

2、MySQL配置文件中实现日志功能

修改配置文件开启日志vim /etc/my.cnf

[mysqld]

##错误日志,用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启

log-error=/usr/local/mysql/data/mysql_error.log???? #指定日志的保存位置和文件名

##通用查询日志,用来记录MySQL的所有连接和语句,默认是关闭的

general_log=ON

general_log_file=/usr/local/mysql/data/mysql_general.log

##二进制日志(binlog),用来记录所有更新了数据或者已经潜在更新了数据的语句,记录了数据的更改,可用于数据恢复,默认已开启

log-bin=mysql-bin?????

log_bin=mysql-bin

##中继日志

一般情况下它在Mysql主从同步(复制)、读写分离集群的从节点开启。主节点一般不需要这个日志

##慢查询日志,用来记录所有执行时间超过long_query_time秒的语句,可以找到哪些查询语句执行时间长,以便提醒优化,默认是关闭的

s1ow_query_log=ON

slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log

long_query_time=5??????? #设置超过5秒执行的语句被记录,缺省时为10秒

#二进制日志开启后,重启mysql会在目录中查看到二进制日志(在每次重启的时候会刷新这个文件)

cd/usr/local/mysql/ data

ls

mysql-bin.000001

#开启二进制日志时会产生一个索引文件及一个索引列表

mysql-bin.index? 这个会记录二进制文件的位置(二进制文件的索引)

索引文件:记录更新语句

索引文件刷新方式:

①、重启mysql的时候会更新索引文件,用于记录新的更新语句

②、刷新二进制日志。二进制日志文件的索引mysql-bin.index

3、日志查询

systemctl restart mysqld
mysql -u root -P
show variables like 'general%';    #查看通用查询日志是否开启
show variables like 'log_bin%';    #查看二进制日志是否开启
show variables like '%slow% ';     #查看慢查询日功能是否开启
show variables like 'long_query_time' ; #查看慢查询时间设置
set global slow_query _log=ON;    #在数据库中设置开启慢查询的方法(临时)
Ps : variables表示变量 like表示模糊查询
#XXX(字段)
XXX%以XXX为开头的字段
%XXX以XXX为结尾的字段
%XXX%只要出现XXX字段的都会显示出来
XXX 精准查询

三、数据备份类型

1、物理备份

????????数据库备份可以分为物理备份和逻辑备份。物理备份是对数据库操作系统的物理文件(如数

据文件、日志文件等)的备份。这种类型的备份适用于在出现问题的时候需要快速恢复的大型重要

数据库。

物理备份又可以成为冷备份(脱机备份)、热备份(连接备份)和温备份

① 冷备份 (脱机备份) :是在关闭数据库的时候进行的(tar)

② 热备份 (联机备份) :数据库处于运行状态,依赖于数据库的日志文件(mysqlhotcopy

mysqlbackup)

③ 温备份 :数据库锁定表格(不可写入但可读)的状态下进行备份操作(mysqldump)

2、逻辑备份

????????逻辑备份是对数据库逻辑组件的备份.表示为逻辑数据库结构,这种类型的备份适用于可以编

辑数据值或表结构。从数据库的备份策略角度来看,备份又可分为完全备份、差异备份和增量备

份。

① 完全备份

????????每次对数据进行完整备份,即对整个数据库、数据库结构和文件结构的备份,保存的是备份

完成时刻的数据库,是差异备份与增量备份的基础。完全备份的备份与恢复操作都非常简单方便,

但是数据存在大量的重复并且会占用大量的磁盘空间,备份的时间也很长。

特点:每次都进行完全备份,会导致备份文件占用空间巨大,并且有大量的重复数据,恢复时,直

接使用完全备份的文件即可。

② 差异备份

????????备份那些自从上次完全备份之后被修改过的所有文件,备份的时间节点是从上次完整备份

起,备份数据量会越来越大。恢复数据时只需要恢复上次的完全备份与最佳的一次差异备份。

特点:每次差异备份,都会备份上一次完全备份之后的数据,可能会出现重复数据。恢复时,先恢

复完全备份的数据,再恢复差异备份的数据。

③ 增量备份

????????只有那些在上次完全备份或者增量备份后被修改的文件才会被备份以上次完整备份或上次增

量备份的时间为时间点,仅备份期间内的数据变化,因而备份的数据量小,占用空间小,备份速度

快。但恢复时,需要从上一次的完整备份开始到最后一次增量备份之间的所有增量依次恢复,如中

间某次的备份数据损坏,将导致数据的丢失。

特点: 每次增量备份都是备份在上一次完全备份或者增量备份之后的数据,不会出现重复数据的

情况,也不会占用额外的磁盘空间。恢复数据,需要按照次序恢复完全备份和增量备份的数据。

四、常见的备份方法

1、物理冷备

备份时数据库处于关闭状态,直接打包数据库文件(tar);

备份速度快,恢复时也是最简单的。

物理冷备关闭数据库的原因:因为数据库是由持续性的数据交互和数据频繁更新的特性,若不关闭

数据库,tar就无法保证数据的更新与一致性。

2、专用备份工具 mysqldump 或 mysqlhotcopy

mysqldump 常用的逻辑备份工具

mysqlhotcopy 仅拥有备份 MyISAM 和 ARCHIVE 表

3、启用二进制日志进行增量备份

进行增量备份,需要刷新二进制日志

????????MySQL支持增量备份,进行增量备份时必须启用二进制日志。二进制日志文件为用户提供复

制,对执行备份点后进行的数据库更改所需的信息进行恢复。如果进行增量备份(包含自上次完全

备份或增量备份以来发生的数据修改),需要刷新二进制日志。

4、第三方工具备份

免费的MySQL 热备份软件 Percona XtraBackup mysqlbackup

五、MySQL 备份与恢复应用

1、物理冷备份与恢复

① 关闭MySQL数据库

② 使用tar命令直接打包数据库文件夹

③ 直接替换现有MySQL目录即可

冷备份使用tar打包,需要先关闭数据库是因为数据库仍在持续写入,不关闭会导致数据丢失。

[root@sql ~]# systemctl stop mysqld.service
[root@sql ~]# cd /usr/local/mysql/ data/
[root@sql data]# yum install -y xz
[root@sql data]# tar Jcvf /opt/mysql_all_$(date +%F).tar.xz /usr/local/mysql/data/
#数据备份打包。date +%F是指当前时间。
[root@sql mysql]# rm -rf data
[root@sql mysql]# systemctl start mysqld.service
[root@sql mysql]# mysql -uroot -p   #删除data文件登陆发现出现问题
Enter password: 
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)
[root@sql mysql]#tar Jxvf /opt/mysql_all_2021-10-25.tar.xz  -C /usr/local/mysql/data/   #解压恢复
[root@sql mysql]# systemctl restart mysqld
[root@sql mysql]# mysql -uroot -p   #正常登陆数据库
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
……

2、mysqldump 备份与恢复

MySQL自带的备份工具,可方便实现对MySQL的备份

可以将指定的库、表导出为SQL 脚本

使用命令mysq|导入备份的数据

InnoDB 存储引擎的数据库在磁盘上存储成三个文件: db.opt(表属性文件)、表名.frm(表结构文件)、

表名.ibd(表数据文件)。

在命令行查看库和表(可用于脚本操作,-e的方式进行交互)#-e:在命令行对表的内容进行操

作。

[root@sql ~]# mysql -uroot -p123456 -e 'select * from class.kang'

?(1)、完全备份一个或多个完整的库 (包括其中所有的表)

mysqldump -u root -p[密码] --databases 库名1 [库名2] ... > /备份路径/备份文件名.sql    #导出的就是数据库脚本文件
例:
mysqldump -u root -p --databases kgc > /opt/kgc.sql       #备份一个kgc库
mysqldump -u root -p --databases mysql kgc > /opt/mysql-kgc.sql    #备份mysql与 kgc两个库

(2)、完全备份 MySQL 服务器中所有的库

mysqldump -u root -p[密码] --all-databases > /备份路径/备份文件名.sql
例:
mysqldump -u root -p --all-databases > /opt/all.sql

(3)、完全备份指定库中的部分表

mysqldump -u root -p[密码] 库名 [表名1] [表名2] ... > /备份路径/备份文件名.sql
例:
mysqldump -u root -p [-d] kgc info1 info2 > /opt/kgc_info1.sql
#使用“-d”选项,说明只保存数据库的表结构 
#不使用“-d"选项,说明表数据也进行备份
#做为一个表结构模板

?(4)、查看备份文件

grep -v "^--" /opt/kgc_info1.sql | grep -v "^/" | grep -v "^$"

?(5)、恢复数据库或表

使用mysqldump导出的文件,可使用导入的方法。
source命令;mysql命令。
方法一:使用source命令,登录到MySQL数据库,执行source备份sql脚本的路径。
……
mysql> show databases;
mysql> source /opt/class.sql
……
方法二:使用musql命令,无须登录MySQL数据库,执行mysql备份sql脚本的路径。
[root@sql ~]#mysqldump -uroot -p123456 class gl > /opt/gl.sql
[root@sql ~]#mysql -uroot -p123456 -e 'drop table class.gl;'
[root@sql ~]#mysql -uroot -p123456 -e 'show table from class;'
[root@sql ~]#mysql -uroot -p123456 class < /opt/gl.sql 
[root@sql ~]#mysql -uroot -p123456 -e 'show tables from class;'

注:mysqldump 严格来说属于温备份,会需要对表进行写入的锁定

在全量备份与恢复实验中,假设现有ky11库,ky11库中有一个test表,需要注意的一点为:

① 当备份时加 --databases ,表示针对于ky11库

#备份命令

mysqldump -uroot -p123123 --databases school > /opt/school_01.sql 备份库后

#恢复命令过程为:

mysql -uroot -p123123

drop database ky11;

exit

mysql -uroot -p123123 < /opt/ky11_01.sql

② 当备份时不加 --databases,表示针对ky11库下的所有表

#备份命令

mysqldump -uroot -p123123 ky11 > /opt/ky11_all.sql

#恢复过程:

mysql -uroot -p123123

drop database ky11;

create database ky11;

exit

mysql -uroot -p123123 ky11 < /opt/ky11_02.sql

#查看ky11_01.sql 和ky11_02.sql

主要原因在于两种方式的备份(前者会从"create databases"开始,而后者则全是针对表格进行操作)

总结

是从数据库的备份策略角度,备份可以氛围完全备份,差异备份和增量备份。

从物理和逻辑角度,备份可以分为物理备份(冷、热备份)、逻辑备份。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-10-26 12:16:31  更:2021-10-26 12:17:06 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 2:31:14-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码