[大数据]Mysql-数据丢失，分析binlog日志文件

场景：测试环境中发现少了一部分应该存在的业务数据

a表关联的b表业务数据有28日的数据，但是a表却没有，故去mysql日志查看原因！

属账号的general_log文件存放的目录

mysql> SHOW VARIABLES LIKE 'gen%';
+----------------------------------+----------------------------+
| Variable_name                    | Value                      |
+----------------------------------+----------------------------+
| general_log                      | OFF                        |
| general_log_file                 | /var/lib/mysql/server6.log |
| generated_random_password_length | 20                         |
+----------------------------------+----------------------------+
3 rows in set (0.01 sec)

然后可以到对应的general_log目录下去看执行日志。

查看binlog

命令行登录数据库：mysql -uroot -p123456
show binary logs;

mysql> show binary logs
    -> ;
+---------------+-----------+-----------+
| Log_name      | File_size | Encrypted |
+---------------+-----------+-----------+
| binlog.000001 | 385141819 | No        |
+---------------+-----------+-----------+

如果需要查询2022-06-28 00:00:00到2022-06-28 23:59:50 数据库为test的操作日志，输入如下命令将数据写入到一个备用的txt即可

   mysqlbinlog --no-defaults --database=test --base64-output=decode-rows -v --start-datetime="2022-06-28 00:00:00" --stop-datetime="2022-06-28 23:59:50" binlog.000001 > test.txt;

--base64-output=decode-rows -v参数：

• base64-output，可以控制输出语句输出base64编码的BINLOG语句;
• decode-rows：选项将把基于行的事件解码成一个SQL语句

通过vi命令，/关键字 查询相关sql

如图：

查看日志，原来该表在29日9:55:41秒被删掉后有重新创建了，所有业务数据丢失！！！

Binlog解析技巧

• 尽可能在从库解析,避免对主库造成影响
• 先粗略定位涉及相关的库表操作的binlog,再单独解析对应的binlog中的数据
• 在解析DDL时无需加-v输出详细信息(加快解析速度)
• 如果开启了binlog_rows_query_log_events参数,需要用-vv参数才可显示具体的SQL语句