前言
2022/8/3 15:23
暑假学习ing
推荐
【MySQL数据库教程天花板,mysql安装到mysql高级,强!硬!-哔哩哔哩】
尚硅谷MySQL学习笔记
MySQL笔记:第09章_性能分析工具的使用
第09章 性能分析工具的使用
在数据库调优中,我们的目标就是响应时间更快,哈吐量更大 。利用宏观的监控工具和微观的日志分析可以帮我们快速找到调优的思路和方式
1. 数据库服务器的优化步骤
当我们遇到数据库调优问题的时候,该如何思考呢?这里把思考的流程整理成下面这张图。
整个流程划分成了 观察(Show status) 和行动(Action) 两个部分。字母 S 的部分代表观察(会使用相应的分析工具),字母 A 代表的部分是行动(对应分析可以采取的行动)
我们可以通过观察了解数据库整体的运行状态,通过性能分析工具可以让我们了解执行慢的SQL都有哪些,查看具体的SQL 执行计划,甚至是SQL执行中的每一步的成本代价,这样才能定位问题所在,找到了问题,再采取相应的行动
详细解释一下这张图: 首先在S1部分,需要观察服务器的状态是否存在周期性的波动。如果存在周期性波动,有可能是周期性节点的原因,比如双十一、促销活动等。这样的话,可以通过A1这一步骤解决,也就是加缓存,或者更改缓存失效策略。
如果缓存策略没有解决,或者不是周期性波动的原因,就需要进一步分析查询延迟和卡顿的原因。接下来进入S2这一步,需要开启慢查询。慢查询可以帮我们定位执行慢的SQL语句。可以通过设置long_query_time参数定义“慢""的阈值,如果SQL执行时间超过了long query_time,则会认为是慢查询。当收集上来这些慢查询之后,就可以通过分析工具对慢查询日志进行分析。
在S3这一步骤中,我们就知道了执行慢的SQL,这样就可以针对性地用EXPLAIN查看对应SQL语句的执行计划,或者使用show profile查看SQL中每一个步骤的时间成本。这样就可以了解SQL查询慢是因为执行时间长,还是等待时间长。
如果是SQL等待时间长,就进入A2步骤。在这一步骤中,可以调优服务器的参数,比如适当增加数据库缓冲池等。如果是SQL执行时间长,就进入A3步骤,这一步中需要考虑是索引设计的问题?还是查询关联的数据表过多?还是因为数据表的字段设计问题导致了这一现象。然后在这些维度上进行对应的调整。 如果A2和A3都不能解决问题,需要考虑数据库自身的SQL查询性能是否已经达到了瓶颈,如果确认没有达到性能瓶颈,就需要重新检查,重复以上的步骤。如果已经达到了性能瓶颈,进入A4阶段,需要考虑增加服务器,采用读写分离的架构,或者考虑对数据库进行分库分表,比如垂直分库、垂直分表和水平分表等。
以上就是数据库调忧的流程思路。如果发现执行SQL时存在不规则延迟或卡顿的时候,就可以采用分析工具帮我们定位有问题的SQL,这三种分析工具可以理解是SQL调优的三个步骤:慢查询、EXPLAIN和SHOEW PROFILING
小结:
2.查看系统性能参数
在MySQL中,可以使用 SHOW STATUS 语句查询一些MySQL数据库服务器的性能参数 、执行频率 。 SHOW STATUS语句语法如下:
SHOW [GLOBAL|SESSION] STATUS LIKE '参数';
一些常用的性能参数如下:
- Connections:连接MySQL服务器的次数。
- Uptime:MySQL服务器的上线时间。
- Slow_queries:慢查询的次数。
- Innodb_rows_read:Select查询返回的行数
- Innodb_rows_inserted:执行INSERT操作插入的行数
- Innodb_rows_updated:执行UPDATE操作更新的行数
- Innodb_rows_deleted:执行DELETE操作删除的行数
- Com_select:查询操作的次数。
- Com_insert:插入操作的次数。对于批量插入的 INSERT 操作,只累加一次。 Com_update:更新操作的次数。
- Com_delete:删除操作的次数。
- 若查询MySQL服务器的连接次数,则可以执行如下语句:
show status like 'Connections';
show status like 'uptime';
- 若查询MySQL服务器的慢查询次数,则可以执行如下语句:
SHOW STATUS LIKE 'slow_queries' ;
慢查询次数参数可以结合慢查询日志找出慢查询语句,然后针对慢查询语句进行表结构优化或者查询语句优化。再比如,如下的指令可以查看相关的指令情况:
SHOW STATUS LIKE 'Innodb_rows_%';
3. 统计SQL的查询成本:last_query_cost
一条SQL查询语句在执行前需要确定查询执行计划,如果存在多种执行计划的话,MySQL会计算每个执行计划所需要的成本,从中选择成本最小的一个作为最终执行的执行计划。 如果想要查看某条SQL语句的查询成本,可以在执行完这条SQL语句之后,通过查看当前会话中的last_query_cost变量值来得到当前查询的成本。它通常也是评价一个查询的执行效率的一个常用指标。这个查询成本对应的是SQL语句所需要读取的页的数量 我们依然使用第8章的student_info表为例:
CREATE TABLE `student_info` (
`id` INT(11) NOT NULL AUTO_INCREMENT,
`student_id` INT NOT NULL ,
`name` VARCHAR(20) DEFAULT NULL,
`course_id` INT NOT NULL ,
`class_id` INT(11) DEFAULT NULL,
`create_time` DATETIME DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
PRIMARY KEY (`id`)
) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
如果想要查询 id=900001 的记录,然后看下查询成本,我们可以直接在聚簇索引上进行查找:
SELECT student_id, class_id, NAME, create_time FROM student_info
WHERE id = 900001;
然后再看下查询优化器的成本,实际上我们只需要检索一个页即可:
SHOW STATUS LIKE 'last_query_cost';
如果要查询 id 在 900001 到 9000100 之间的学生记录呢?
SELECT student_id, class_id, NAME, create_time FROM student_info
WHERE id BETWEEN 900001 AND 900100;
运行结果(100 条记录,运行时间为 0.046s )
然后再看下查询优化器的成本,这时我们大概需要进行 20 个页的查询
SHOW STATUS LIKE 'last_query_cost';
能看到页的数量是刚才的 20 倍,但是查询的效率并没有明显的变化,实际上这两个 SQL 查询的时间基本上一样,就是因为采用了顺序读取的方式将页面一次性加载到缓冲池中,然后再进行查找。虽然页数量(last_query_cost)增加了不少 ,但是通过缓冲池的机制,并没有增加多少查询时间 。
使用场景:它对于比较开销是非常有用的,特别是有好几种查询方式可选的时候
SQL查询是一个动态的过程,从页加载的角度来看,可以得到以下两点结论:
位置决定效率 。如果页就在数据库缓冲池中,那么效率是最高的,否则还需要从内存或者磁盘中进行读取,当然针对单个页的读取来说,如果页存在于内存中,会比在磁盘中读取效率高很多。批量决定效率 。如果从磁盘中对单一页进行随机读,那么效率是很低的(差不多10ms),而采用顺序读取的方式,批主对页进行读取,平均一页的读取效率就会提升很多,甚至要快于单个页面在内存中的随机读取。
所以说,遇到I/O并不用担心,方法找对了,效率还是很高的。首先要考虑数据存放的位置,如果是经常使用的数据就要尽量放到缓冲池 中,其次可以充分利用磁盘的吞吐能力,一次性批量读取数据,这样单个页的读取效率也就得到了提升。
4. 定位执行慢的 SQL:慢查询日志
MySQL的慢查询日志,用来记录在MySQL中响应时间超过阈值 的语句,具体指运行时间超过long_query_time 值的SQL,则会被记录到慢查询日志中。long_query_time的默认值为10 ,意思是运行10秒以上(不含10秒)的语句,认为是超出了最大忍耐时间值。
它的主要作用是,帮助我们发现那些执行时间特别长的SQL查询,并且有针对性地进行优化,从而提高系统的整体效率。当数据库服务器发生阻塞、运行变慢的时候,检查一下慢查询日志,找到那些慢查询,对解决问题很有帮助。比如一条sql执行超过5秒钟,就算慢SQL,希望能收集超过5秒的sql,结合explain进行全面分析。
默认情况下,MySQL数据库没有开启慢查询日志,需要手动来设置这个参数。如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。
慢查询日志支持将日志记录写入文件。
4.1 开启慢查询日志参数
1.开启slow_query_log 在使用前,需要先看下慢查询是否已经开启,使用下面这条命令即可:
show variables like 'slow_query_log';
我们能看到slow_query_log=OFF,可以把慢查询日志打开,注意设置变量值的时候需要使用global,否则会报错:
set global slow_query_log='ON';
再来查看下慢查询日志是否开启,以及慢查询日志文件的位置:
show variables like '%slow_query_log%';
+
| Variable_name | Value |
+
| slow_query_log | ON |
| slow_query_log_file | /var/lib/mysql/centos7-mysql-1-slow.log |
+
2 rows in set (0.00 sec)
能看到这时慢查询分析已经开启,同时文件保存在/var/lib/mysql/LSLNO1-slow.log 文件中
2. 修改long_query_time阈值
接下来看下慢查询的时间阈值设置,使用如下命令:
show variables like '%long_query_time%';
这里如果想把时间缩短,比如设置为 1 秒,可以这样设置:
set global long_query_time = 1;
show global variables like '%long_query_time%';
set long_query_time=1;
show variables like '%long_query_time%';
补充:配置文件中一并设置参数 如下的方式相较于前面的命令行方式,可以看作是永久设置的方式 修改my.cnf 文件,[mysqld]下增加或修改参数long_query_time 、slow_query_log 和slow_query_log_file 后,然后重启MySQL服务器
[mysqld]
slow_query_log=ON
slow_query_log_file=/var/lib/mysql/atguigu-slow.log
long_query_time=3
log_output=FTLE
如果不指定存储路径,慢查询日志将默认存储到MySQL数据库的数据文件夹下。如果不指定文件名,默认文件名为hostname-slow.log
4.2 查看慢查询数目
查询当前系统中有多少条慢查询记录
SHOW GLOBAL STATUS LIKE '%Slow_queries%';
4.3 案例演示
步骤1. 建表
CREATE TABLE `student` (
`id` INT(11) NOT NULL AUTO_INCREMENT,
`stuno` INT NOT NULL ,
`name` VARCHAR(20) DEFAULT NULL,
`age` INT(3) DEFAULT NULL,
`classId` INT(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
步骤2:设置参数log_bin_trust_function_creators 创建函数,假如报错:This function has none of DETERMINISTIC…
命令开启:允许创建函数设置
set global log_bin_trust_function_creators=1;
步骤3:创建函数 随机产生字符串:(同上一章)
DELIMITER
CREATE FUNCTION rand_string(n INT)
RETURNS VARCHAR(255)
BEGIN
DECLARE chars_str VARCHAR(100) DEFAULT
'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ';
DECLARE return_str VARCHAR(255) DEFAULT '';
DECLARE i INT DEFAULT 0;
WHILE i < n DO
SET return_str =CONCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
SET i = i + 1;
END WHILE;
RETURN return_str;
END
DELIMITER ;
SELECT rand_string(10);
DELIMITER
CREATE FUNCTION rand_num (from_num INT ,to_num INT) RETURNS INT(11)
BEGIN
DECLARE i INT DEFAULT 0;
SET i = FLOOR(from_num +RAND()*(to_num - from_num+1)) ;
RETURN i;
END
DELIMITER ;
SELECT rand_num(10,100);
步骤4:创建存储过程
DELIMITER
CREATE PROCEDURE insert_stu1( START INT , max_num INT )
BEGIN
DECLARE i INT DEFAULT 0;
SET autocommit = 0;
REPEAT
SET i = i + 1;
INSERT INTO student (stuno, NAME ,age ,classId ) VALUES
((START+i),rand_string(6),rand_num(10,100),rand_num(10,1000));
UNTIL i = max_num
END REPEAT;
COMMIT;
END
DELIMITER ;
步骤5:调用存储过程
CALL insert_stu1(100001,4000000);
mysql> SELECT COUNT(*) FROM student;
+
| COUNT(*) |
+
| 4000000 |
+
1 row in set (0.70 sec)
4.4 测试及分析
1. 测试
SELECT * FROM student WHERE stuno = 3455655;
SELECT * FROM student WHERE name = 'IHnqPe ';
从上面的结果可以看出来,查询学生编号为“3455655”的学生信息花费时间为1.33 秒。查询学生姓名为“IHnqPe”的学生信息花费时间为1.43 秒。已经达到了秒的数量级,说明目前查询效率是比较低的,下面我们分析一下原因:
2. 分析
show status like 'slow_queries';
补充说明:
除了上述变量,控制慢查询日志的还有一个系统变量: min_examined_row_limit。这个变量的意思是,查询扫描过的最少记录数 。这个变晕和查询执行时间,共同组成了判别一个查询是否是慢查询的条件。如果查询扫描过的记录数大于等于这个变量的值,并且查询执行时间超过long_query_time的值,那么,这个查询就被记录到慢查询日志中;反之,则不被记录到慢查询日志中。
mysql> show variables like ‘min%’; /* ±-----------------------±------+ | Variable_name | Value | ±-----------------------±------+ | min_examined_row_limit | 0 | ±-----------------------±------+ 1 row in set (0.02 sec) */
这个值默认是0。与long_query_time=10合在一起,表示只要查询的执行时间超过10秒钟,哪怕一个记录也没有扫描过,都要被记录到慢查询日志中。也可以根据需要,通过修“my.ini"文件,来修改查询时长,或者通过SET指令,用SQL语句修改“min_examined_row_limit"的值。
4.5 慢查询日志分析工具:mysqldumpslow
在生产环境中,如果要手工分析日志,查找、分析SQL,显然是个体力活,MySQL提供了日志分析工具mysqldumpslow
查看mysqldumpslow的帮助信息
[root@centos7-mysql-1 ~]
mysqldumpslow 命令的具体参数如下: -a: 不将数字抽象成N,字符串抽象成S -s: 是表示按照何种方式排序:
- c: 访问次数
- l: 锁定时间
- r: 返回记录
- t: 查询时间
- al:平均锁定时间
- ar:平均返回记录数
- at:平均查询时间 (默认方式)
- ac:平均查询次数
-t :即为返回前面多少条的数据; -g: 后边搭配一个正则匹配模式,大小写不敏感的
下面演示如何得到慢查询: 首先找到慢查询文件在哪个目录下:
[root@centos7-mysql-1 ~]
[root@centos7-mysql-1 mysql]
举例:我们想要按照查询时间排序,查看前五条 SQL 语句,这样写即可:
[root@centos7-mysql-1 mysql]
不想替换S、N 用-a 花费时间降序排列
[root@centos7-mysql-1 mysql]
Reading mysql slow query log from /var/lib/mysql/centos7-mysql-1-slow.log
Count: 1 Time=251.55s (251s) Lock=0.00s (0s) Rows=0.0 (0), root[root]@[192.168.253.134]
CALL insert_stu1(100001,4000000)
Count: 1 Time=1.43s (1s) Lock=0.00s (0s) Rows=5.0 (5), root[root]@localhost
SELECT * FROM student WHERE name = 'IHnqPe '
Count: 1 Time=1.29s (1s) Lock=0.03s (0s) Rows=1.0 (1), root[root]@localhost
SELECT * FROM student WHERE stuno = 3455655
Died at /usr/bin/mysqldumpslow line 162, <> chunk 3.
工作常用参考:
mysqldumpslow -s r -t 10 /var/lib/mysql/atguigu-slow.log
mysqldumpslow -s c -t 10 /var/lib/mysql/atguigu-slow.log
mysqldumpslow -s t -t 10 -g "left join" /var/lib/mysql/atguigu-slow.log
mysqldumpslow -s r -t 10 /var/lib/mysql/atguigu-slow.log | more
4.6 关闭慢查询日志
MySQL服务器停止慢查询日志功能有两种方法:
方式1:永久性方式
[mysqld]
slow_query_log=OFF
或者,把slow_query_log一项注释掉 或 删除
[mysqld]
重启MySQL服务,执行如下语句查询慢日志功能。
SHOW VARIABLES LIKE ‘%slow%’;
SHOW VARIABLES LIKE ‘%long_query_time%’;
可以看到,MySQL系统中的慢查询日志是关闭的。
方式2:临时性方式
使用SET语句来设置。 (1)停止MySQL慢查询日志功能,具体SQL语句如下
SET GLOBAL slow_query_log=off;
SHOW VARIABLES LIKE '%slow%';
SHOW VARIABLES LIKE '%long_query_time%';
(2)重启MySQL服务,使用SHOW语句查询慢查询日志功能信息,具体SQL语句如下
[root@centos7-mysql-1 mysql]
mysql> SHOW VARIABLES LIKE '%long_query_time%';
4.7 删除慢查询日志
查询并调优完后该日志没有用了,可以将其删除 使用SHOW语句显示慢查询日志信息,具体SQL语句如下
show variables like 'slow_query_log%';
从执行结果可以看出,慢查询日志的目录默认为MySQL的数据目录,在该目录下手动删除慢查询日志文件即可
[root@LSLNO1 mysql]
rm:是否删除普通文件 "LSLNO1-slow.log"?y
使用命令mysqladmin flush-logs 来重新生成查询日志文件,具体命令如下,执行完毕会在数据目录下重新生成慢查询日志文件
mysqladmin -uroot -p flush-logs slow
SET GLOBAL slow_query_log=on;
提示: 慢查询日志都是使用mysqladmin flush-logs命令来删除重建的。使用时一定要注意,一旦执行了这个命令,慢查询日志都只存在新的日志文件中,如果需要旧的查询日志,就必须享先备份。
5. 查看 SQL 执行成本:SHOW PROFILE
show profile在《逻辑架构》章节中讲过,这里作为复习。 Show Profile是MySQL提供的可以用来分析当前会话中SQL都做了什么、执行的资源消耗情况的工具,可用于sql调优的测量。默认情况下处于关闭状态 ,并保存最近15次的运行结果。 可以在会话级别开启这个功能
show variables like 'profiling';
通过设profiling='ON’来开启show profile :
set profiling = 'ON';
show profile使用演示:
use atguigudb;
select * from student where stuno =343455;
select * from student where name = 'vyituS';
show profiles;
show profile;
我们也可以查看指定的Query lD的开销,比如show profile for query 2 查询结果是一样的。在SHOWPROFILE中我们可以查看不同部分的开销,比如cpu、block.io等:
mysql> show profile cpu, block io for query 2;
+
| Status | Duration | CPU_user | CPU_system | Block_ops_in | Block_ops_out |
+
| starting | 0.000111 | 0.000066 | 0.000039 | 0 | 0 |
| Executing hook on transaction | 0.000006 | 0.000002 | 0.000001 | 0 | 0 |
| starting | 0.000009 | 0.000005 | 0.000003 | 0 | 0 |
| checking permissions | 0.000006 | 0.000004 | 0.000003 | 0 | 0 |
| Opening tables | 0.000044 | 0.000028 | 0.000016 | 0 | 0 |
| init | 0.000004 | 0.000002 | 0.000002 | 0 | 0 |
| System lock | 0.000008 | 0.000005 | 0.000002 | 0 | 0 |
| optimizing | 0.000009 | 0.000006 | 0.000004 | 0 | 0 |
| statistics | 0.000057 | 0.000036 | 0.000022 | 0 | 0 |
| preparing | 0.000023 | 0.000013 | 0.000008 | 0 | 0 |
| executing | 1.526632 | 1.208456 | 0.519889 | 361248 | 0 |
| end | 0.000021 | 0.000008 | 0.000005 | 0 | 0 |
| query end | 0.000005 | 0.000003 | 0.000001 | 0 | 0 |
| waiting for handler commit | 0.000012 | 0.000008 | 0.000005 | 0 | 0 |
| closing tables | 0.000013 | 0.000008 | 0.000004 | 0 | 0 |
| freeing items | 0.000037 | 0.000024 | 0.000014 | 0 | 0 |
| cleaning up | 0.000016 | 0.000009 | 0.000006 | 0 | 0 |
+
17 rows in set, 1 warning (0.00 sec)
show profile的常用查询参数:
- ALL:显示所有的开销信息。
- BLOCK IO:显示块IO开销。
- CONTEXT SWITCHES:上下文切换开销。
- CPU:显示CPU开销信息。
- IPC:显示发送和接收开销信息
- MEMORY:显示内存开销信息。
- PAGE FAULTS:显示页面错误开销信息。
- SOURCE:显示和Source_function,Source_file,Source_line相关的开销信息。
- SWAPS:显示交换次数开销信息。
日常开发需注意的结论:
converting HEAP to MyISAM :查询结果太大,内存不够,数据往磁盘上搬了。Creating tmp.table :创建临时表。先拷贝数据到临时表,用完后再删除临时表Copying to tmp table on disk :把内存中临时表复制到磁盘上,警惕!locked 。
如果在show profile诊断结果中出现了以上4条结果中的任何一条,则sql语句需要优化。
注意: 不过 SHOW PROFILE命令将被弃用,可以从 information_schema中的profiling 数据表进行查看
6. 分析查询语句:EXPLAIN
6.1概述
定位了查询慢的SQL之后,就可以使用EXPLAIN或DESCRIBE工具做针对性的分析查询语句。DESCRIBE语句的使用方法与EXPLAIN语句是一样的,并且分析结果也是一样的。
MySQL中有专门负责优化SELECT语句的优化器模块,主要功能:通过计算分析系统中收集到的统计信息,为客户端请求的Query提供它认为最优的执行计划 (他认为最优的数据检索方式,但不见得是DBA认为是最优的,这部分最耗费时间)
这个执行计划展示了接下来具体执行查询的方式,比如多表连接的顺序是什么,对于每个表采用什么访问方法来具体执行查询等等。 MySQL为我们提供了EXPLAIN 语句来帮助我们查看某个查询语句的具体执行计划,大家看懂EXPLAIN 语句的各个输出项,可以有针对性的提升查询语句的性能。
1.能做什么?
- 表的读取顺序
- 数据读取操作的操作类型。
- 哪些索引可以使用
- 哪些索引被实际使用
- 表之间的引用
- 每张表有多少行被优化器查询
2.官网介绍 https://dev.mysql.com/doc/refman/5.7/en/explain-output.html
https://dev.mysql.com/doc/refman/8.0/en/explain-output.html
3.版本情况
- MySQL 5.6.3以前只能
EXPLAIN SELECT ;MYSQL 5.6.3以后就可以 EXPLAIN,SELECT,UPDATE,DELETE - 在5.7以前的版本中,想要显示
partitions 需要使用 explain partitions 命令;想要显示filtered 需要使用 explain extended命令。在5.7版本后,默认explain直接显示partitions和filtered中的信息。
EXPLAIN SELECT * FROM student_info;
SELECT * FROM student_info LIMIT 10;
DESCRIBE DELETE FROM student_info WHERE id=2;
6.2 基本语法
EXPLAIN 或 DESCRIBE语句的语法形式如下:
EXPLAIN SELECT select_options
DESCRIBE SELECT select_options
如果我们想看看某个查询的执行计划的话,可以在具体的查询语句前边加一个 EXPLAIN ,就像这样:
EXPLAIN SELECT 1;
输出的上述信息就是所谓的执行计划 。在这个执行计划的辅助下,我们需要知道应该怎样改进自己的查询语句以使查询执行起来更高效。其实除了以SELECT 开头的查询语句,其余的DELETE 、INSERT 、REPLACE 以及UPDATE 语句等都可以加上EXPLAIN ,用来查看这些语句的执行计划,只是平时我们对SELECT 语句更感兴趣
注意: 执行EXPLAIN时并没有真正的执行该后面的语句,因此可以安全的查看执行计划。
EXPLAIN 语句输出的各个列的作用如下:
列名 | 描述 |
---|
id | 在一个大的查询语句中每个SELECT关键字都对应一个 唯一的id | select_type | SELECT关键字对应的那个查询的类型 | table | 表名 | partitions | 匹配的分区信息 | type | 针对单表的访问方法 | possible_keys | 可能用到的索引 | key | 实际上使用的索引 | key_len | 实际使用到的索引长度(单位:字节) | ref | 当使用索引列等值查询时,与索引列进行等值匹配的对象信息 | rows | 预估的需要读取的记录条数 | filtered | 某个表经过搜索条件过滤后剩余记录条数的百分比 | Extra | 一些额外的信息 |
在这里把它们都列出来只是为了描述—个轮廓,让大家有一个大致的印象。
6.3 数据准备
.1. 建表
CREATE TABLE s1 (
id INT AUTO_INCREMENT,
key1 VARCHAR(100),
key2 INT,
key3 VARCHAR(100),
key_part1 VARCHAR(100),
key_part2 VARCHAR(100),
key_part3 VARCHAR(100),
common_field VARCHAR(100),
PRIMARY KEY (id),
INDEX idx_key1 (key1),
UNIQUE INDEX idx_key2 (key2),
INDEX idx_key3 (key3),
INDEX idx_key_part(key_part1, key_part2, key_part3)
) ENGINE=INNODB CHARSET=utf8;
CREATE TABLE s2 (
id INT AUTO_INCREMENT,
key1 VARCHAR(100),
key2 INT,
key3 VARCHAR(100),
key_part1 VARCHAR(100),
key_part2 VARCHAR(100),
key_part3 VARCHAR(100),
common_field VARCHAR(100),
PRIMARY KEY (id),
INDEX idx_key1 (key1),
UNIQUE INDEX idx_key2 (key2),
INDEX idx_key3 (key3),
INDEX idx_key_part(key_part1, key_part2, key_part3)
) ENGINE=INNODB CHARSET=utf8;
2. 设置参数log_bin_trust_function_creators 创建函数,假如报错,需开启如下命令:允许创建函数设置:
set global log_bin_trust_function_creators=1;
3. 创建存储函数
DELIMITER
CREATE FUNCTION rand_string1(n INT)
RETURNS VARCHAR(255)
BEGIN
DECLARE chars_str VARCHAR(100) DEFAULT
'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ';
DECLARE return_str VARCHAR(255) DEFAULT '';
DECLARE i INT DEFAULT 0;
WHILE i < n DO
SET return_str =CONCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
SET i = i + 1;
END WHILE;
RETURN return_str;
END
DELIMITER ;
4. 创建存储过程 创建往s1表中插入数据的存储过程:
DELIMITER
CREATE PROCEDURE insert_s1 (IN min_num INT (10),IN max_num INT (10))
BEGIN
DECLARE i INT DEFAULT 0;
SET autocommit = 0;
REPEAT
SET i = i + 1;
INSERT INTO s1 VALUES(
(min_num + i),
rand_string1(6),
(min_num + 30 * i + 5),
rand_string1(6),
rand_string1(10),
rand_string1(5),
rand_string1(10),
rand_string1(10));
UNTIL i = max_num
END REPEAT;
COMMIT;
END
DELIMITER ;
创建往s2表中插入数据的存储过程:
DELIMITER
CREATE PROCEDURE insert_s2 (IN min_num INT (10),IN max_num INT (10))
BEGIN
DECLARE i INT DEFAULT 0;
SET autocommit = 0;
REPEAT
SET i = i + 1;
INSERT INTO s2 VALUES(
(min_num + i),
rand_string1(6),
(min_num + 30 * i + 5),
rand_string1(6),
rand_string1(10),
rand_string1(5),
rand_string1(10),
rand_string1(10));
UNTIL i = max_num
END REPEAT;
COMMIT;
END
DELIMITER ;
5. 调用存储过程 s1表数据的添加:加入1万条记录:
CALL insert_s1(10001,10000);
s2表数据的添加:加入1万条记录:
CALL insert_s2(10001,10000);
SELECT COUNT(*) FROM s1;
SELECT COUNT(*) FROM s2;
6.4 EXPLAIN各列作用
为了有比较好的体验,调整了下EXPLAIN 输出列的顺序。
1.table
不论查询语句有多复杂,里边包含了多少个表 ,到最后也是需要对每个表进行单表访问 的,所以MySQL规定EXPLAIN语句输出的每条记录都对应着某个单表的访问方法,该条记录的table列代表着该表的表名(有时不是真实的表名字,可能是简称)。
演示
EXPLAIN SELECT * FROM s1;
EXPLAIN SELECT * FROM s1 INNER JOIN s2;
2.id
演示
SELECT * FROM s1 WHERE key1 = 'a';
SELECT * FROM s1 INNER JOIN s2
ON s1.key1 = s2.key1
WHERE s1.common_field = 'a';
SELECT * FROM s1
WHERE key1 IN (SELECT key3 FROM s2);
SELECT * FROM s1 UNION SELECT * FROM s2;
EXPLAIN SELECT * FROM s1 WHERE key1 = 'a';
EXPLAIN SELECT * FROM s1 INNER JOIN s2;
EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key1 FROM s2) OR key3 = 'a';
EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key2 FROM s2 WHERE common_field = 'a');
EXPLAIN SELECT * FROM s1 UNION SELECT * FROM s2;
EXPLAIN SELECT * FROM s1 UNION ALL SELECT * FROM s2;
小结:
- id如果相同,可以认为是一组,从上往下顺序执行
- 在所有组中。id值越大。优先级越高。越先执行
- 关注点: id号每个号码。表示一趟独立的查询,一个sql的查询趟数越少越好
3.select_type
一条大的查询语句里边可以包含若干个SELECT关键字,每个SELECT关键字代表着一个小的查询语句 ,而每个SELECT关键字的FROM子句中都可以包含若干张表(这些表用来做连接查询),每一张表都对应着执行计划输出中的一条记录 ,对于在同一个SELECT关键字中的表来说,它们的id值是相同的
MySQL为每一个SELECT关键字代表的小查询都定义了一个称之为select_type 的属性,意思是只要知道了某个小查询的select_type 属性,就知道了这个小查询在整个大查询中扮演了一个什么角色 ,我们看一下select_type都能取哪些值,请看官方文档:
名称 | 描述 |
---|
SIMPLE | Simple SELECT (not using UNION or subqueries) | PRIMARY | Outermost SELECT | UNION | Second or later SELECT statement in a UNION | UNION | RESULT Result of a UNION | SUBQUERY | First SELECT in subquery | DEPENDENT | SUBQUERY First SELECT in subquery, dependent on outer query | DEPENDENT | UNION Second or later SELECT statement in a UNION, dependent on outer query | DERIVED | Derived table | MATERIALIZED | Materialized subquery | UNCACHEABLE SUBQUERY | A subquery for which the result cannot be cached and must be re-evaluated foreach row of the outer query | UNCACHEABLE UNION | The second or later select in a UNION that belongs to an uncacheable subquery (see UNCACHEABLE SUBQUERY) |
演示
EXPLAIN SELECT * FROM s1;
EXPLAIN SELECT * FROM s1 INNER JOIN s2;
EXPLAIN SELECT * FROM s1 UNION SELECT * FROM s2;
EXPLAIN SELECT * FROM s1 UNION ALL SELECT * FROM s2;
EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key1 FROM s2) OR key3 = 'a';
EXPLAIN SELECT * FROM s1
WHERE key1 IN (SELECT key1 FROM s2 WHERE s1.key2 = s2.key2) OR key3 = 'a';
EXPLAIN SELECT * FROM s1
WHERE key1 IN (SELECT key1 FROM s2 WHERE key1 = 'a' UNION SELECT key1 FROM s1 WHERE key1 = 'b');
EXPLAIN SELECT *
FROM (SELECT key1, COUNT(*) AS c FROM s1 GROUP BY key1) AS derived_s1 WHERE c > 1;
EXPLAIN SELECT * FROM s1 WHERE key1 IN (SELECT key1 FROM s2);
4. partitions (可略) :匹配的分区信息
CREATE TABLE user_partitions (id INT auto_increment,
NAME VARCHAR(12),PRIMARY KEY(id))
PARTITION BY RANGE(id)(
PARTITION p0 VALUES less than(100),
PARTITION p1 VALUES less than MAXVALUE
);
查询id大于200(200>100,p1分区)的记录,查看执行计划,partitions是p1,符合我们的分区规则
DESC SELECT * FROM user_partitions WHERE id>200;
5. type ☆
执行计划的一条记录就代表着MySQL对某个表的执行查询时的访问方法 ,又称"访问类型",其中的type 列就表明了这个访问方法是啥,是较为重要的一个指标。比如,看到 type 列的值是ref ,表明MySQL 即将使用ref 访问方法来执行对s1 表的查询。
完整的访问方法如下: system , const , eq_ref , ref , fulltext , ref_or_null , index_merge , unique_subquery , index_subquery , range , index , ALL 。
我们详细解释一下: system: 当表中只有一条记录 并且该表使用的存储引擎的统计数据是精确的,比如MyISAM、Memory,那么对该表的访问方法就是system 。比方说我们新建一个NyISA表,并为其后入—条记录:
演示
CREATE TABLE t(i INT) ENGINE=MYISAM;
INSERT INTO t VALUES(1);
EXPLAIN SELECT * FROM t;
CREATE TABLE tt(i INT) ENGINE=INNODB;
INSERT INTO tt VALUES(1);
EXPLAIN SELECT * FROM tt;
EXPLAIN SELECT * FROM s1 WHERE id = 10005;
EXPLAIN SELECT * FROM s1 WHERE key2 = 10066;
EXPLAIN SELECT * FROM s1 WHERE key3 = 10066;
EXPLAIN SELECT * FROM s1 INNER JOIN s2 ON s1.id = s2.id;
EXPLAIN SELECT * FROM s1 WHERE key1 = 'a';
EXPLAIN SELECT * FROM s1 WHERE key3 = '10066';
EXPLAIN SELECT * FROM s1 WHERE key1 = 'a' OR key1 IS NULL;
EXPLAIN SELECT * FROM s1 WHERE key1 = 'a' OR key3 = 'a';
EXPLAIN SELECT * FROM s1
WHERE key2 IN (SELECT id FROM s2 WHERE s1.key1 = s2.key1) OR key3 = 'a';
EXPLAIN SELECT * FROM s1 WHERE key1 IN ('a', 'b', 'c');
EXPLAIN SELECT * FROM s1 WHERE key1 > 'a' AND key1 < 'b';
EXPLAIN SELECT key_part2 FROM s1 WHERE key_part3 = 'a';
EXPLAIN SELECT * FROM s1;
小结:
结果值从最好到最坏依次是: system > const > eq_ref > ref > fulltext > ref_or_null > index_merge >unique_subquery > index_subquery > range > index > ALL
其中比较重要的几个提取出来(见上图中的蓝色)。 SQL 性能优化的目标:至少要达到 range 级别,要求是 ref 级别,最好是 const级别。(阿里巴巴开发手册要求)
6. possible_keys和key
在EXPLAIN语句输出的执行计划中, possible_keys 列表示在某个查询语句中,对某个表执行单表查询时可能用到的索引 有哪些。一般查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询使用。key 列表示实际用到的索引 有哪些,如果为NULL,则没有使用索引 比方说下边这个查询:
EXPLAIN SELECT * FROM s1 WHERE key1 > 'z' AND key3 = 'a';
上述执行计划的possible_keys列 的值是idx_key1 , idx_key3 ,表示该查询可能使用到idx_key1, idx_key3两个索引,然后key列的值是idx_key3 ,表示经过查询优化器计算使用不同索引的成本后,最后决定使用哪一个来执行语句。
演示
EXPLAIN SELECT * FROM s1 WHERE key1 > 'z' AND key3 = 'a';
7. key_len
演示
EXPLAIN SELECT * FROM s1 WHERE id = 10005;
EXPLAIN SELECT * FROM s1 WHERE key2 = 10126;
EXPLAIN SELECT * FROM s1 WHERE key1 = 'a';
EXPLAIN SELECT * FROM s1 WHERE key_part1 = 'a';
EXPLAIN SELECT * FROM s1 WHERE key_part1 = 'a' AND key_part2 = 'b';
EXPLAIN SELECT * FROM s1 WHERE key_part1 = 'a' AND key_part2 = 'b' AND key_part3 = 'c';
EXPLAIN SELECT * FROM s1 WHERE key_part3 = 'a';
8. ref
显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值。 当使用索引列等值匹配的条件去执行查询时,也就是在访问方法是const、eq_ref、ref ,ref_or_null、unique_subquery、 index_subquery其中之一时,ref列展示的就是与索引列作等值匹配的结构是什么,比如只是一个常数或者是某个列。大家看下边这个查询:
EXPLAIN SELECT * FROM s1 WHERE key1 = 'a';
可以看到ref列的值是const,表明在使用idx_key1索引执行查询时,与key1列作等值匹配的对象是一个常数,当然有时候更复杂一点:
EXPLAIN SELECT * FROM s1 INNER JOIN s2 ON s1.id = s2.id;
演示
EXPLAIN SELECT * FROM s1 WHERE key1 = 'a';
EXPLAIN SELECT * FROM s1 INNER JOIN s2 ON s1.id = s2.id;
9. rows ☆
演示
EXPLAIN SELECT * FROM s1 WHERE key1 > 'z';
10.filtered
越高越好,说明查的数据都是有效的 演示
EXPLAIN SELECT * FROM s1 WHERE key1 > 'z' AND common_field = 'a';
EXPLAIN SELECT * FROM s1 INNER JOIN s2 ON s1.key1 = s2.key1 WHERE s1.common_field = 'a';
11.Extra☆
顾名思义,Extra 列是用来说明一些额外信息的,包含不适合在其他列中显示但十分重要的额外信息。可以通过这些额外信息来更准确的理辑MySQL到底将如何执行给定的查询语句 。MySQL提供的额外信息有好几十个,我们就不一个一个介绍了,所以我们只挑比较重要的额外信息介绍给大家。
当直询语句的没有FROM 子句时将会提示该额外信息,比如:
EXPLAIN SELECT 1;
EXPLAIN SELECT * FROM s1 WHERE 1 != 1;
EXPLAIN SELECT * FROM s1 WHERE common_field = 'a';
EXPLAIN SELECT * FROM s1 WHERE key1 = 'a' AND common_field = 'a';
EXPLAIN SELECT MIN(key1) FROM s1 WHERE key1 = 'abcdefg';
EXPLAIN SELECT MIN(key1) FROM s1 WHERE key1 = 'znOhuD';
EXPLAIN SELECT key1,id FROM s1 WHERE key1 = 'a';
EXPLAIN SELECT * FROM s1 WHERE key1 > 'z' AND key1 LIKE '%a';
using where; using index的组合:
查找使用了索引,但是需要的数据都在索引列中能找到,所以不需要回表查询数据
Using join buffer (Block Nested Loop)
EXPLAIN SELECT * FROM s1 INNER JOIN s2 ON s1.common_field = s2.common_field;
EXPLAIN SELECT * FROM s1 LEFT JOIN s2 ON s1.key1 = s2.key1 WHERE s2.id IS NULL;
Using intersect(…) 、 Using union(…) 和 Using sort_union(…)
EXPLAIN SELECT * FROM s1 WHERE key1 = 'a' OR key3 = 'a';
EXPLAIN SELECT * FROM s1 LIMIT 0;
有一些情况下对结果集中的记录进行排序是可以使用到索引的,比如下边这个查询:
EXPLAIN SELECT * FROM s1 ORDER BY key1 LIMIT 10;
这个查询语句可以利用idx_key1索引直接取出key1列的10条记录,然后再进行回表操作就好了,但是很多情况下排序操作无法使用到索引,只能在内存中(记录较少的时候)或名磁盘中,(记录较多的时候)进行排序,MySQL把这种在内存中或者磁盘上进行排序的方式统称为文件排序〔英文名∶ filesort )。如果某个查询需要使用文件排序的方式执行查询,就会在执行计划的Extra列中显示Using filesort提示,比如这样:
EXPLAIN SELECT * FROM s1 ORDER BY common_field LIMIT 10;
EXPLAIN SELECT DISTINCT common_field FROM s1;
EXPLAIN SELECT common_field, COUNT(*) AS amount FROM s1 GROUP BY common_field;
EXPLAIN SELECT key1, COUNT(*) AS amount FROM s1 GROUP BY key1;
12.小结
- EXPLAIN不考各种Cache
- EXPLAIN不能显示MySQL在执行查询时所作的优化工作
- EXPLAIN不会告诉你关于触发器、存储过程的信息或用户自定义函数对查询的影响情况
- 部分统计信息是估算的,并非精确值
7. EXPLAIN的进一步使用
7.1 EXPLAIN四种输出格式
这里谈谈EXPLAIN的输出格式。EXPLAIN可以输出四种格式: 传统格式 , JSON格式 , TREE格式 以及可视化输出 。用户可以根据需要选择适用于自己的格式
1. 传统格式
传统格式简单明了,输出是一个表格形式,概要说明查询计划
EXPLAIN SELECT s1.key1, s2.key1 FROM s1 LEFT JOIN s2 ON s1.key1 = s2.key1 WHERE
s2.common_field IS NOT NULL;
2. JSON格式
第1种格式中介绍的EXPLAIN 语句输出中缺少了一个衡量执行计划好坏的重要属性——成本 。而JSON格式是四种格式里面输出信息最详尽 的格式,里面包含了执行的成本信息。
- JSON格式:在EXPLAIN单词和真正的查询语句中间加上 FORMAT=JSON
EXPLAIN FORMAT=JSON SELECT ...
- EXPLAIN的column与JSON的对应关系:〔来源于MySQL 5.7文档)
这样就可以得到一个json格式的执行计划,里面包含该计划花费的成本,比如这样:
EXPLAIN FORMAT=JSON SELECT * FROM s1 INNER JOIN s2 ON s1.key1 = s2.key2
WHERE s1.common_field = 'a';
我们使用# 后边跟随注释的形式为大家解释了 EXPLAIN FORMAT=JSON 语句的输出内容,但是大家可能有疑问 “cost_info ” 里边的成本看着怪怪的,它们是怎么计算出来的?先看 s1 表的 “cost_info ” 部分:
"cost_info": {
"read_cost": "914.80",
"eval_cost": "98.95",
"prefix_cost": "1013.75",
"data_read_per_join": "1M"
}
-
read_cost 是由下边这两部分组成的:
- IO 成本
- 检测
rows × (1 - filter) 条记录的 CPU 成本
小贴士:
rows和filter都是我们前边介绍执行计划的输出列,在JSON格式的执行计划中,rows 相当于rows_examined_per_scan,filtered名称不变。
eval_cost 是这样计算的:检测 rows × filter 条记录的成本prefix_cost 就是单独查询 s1 表的成本,也就是:read_cost + eval_costdata_read_per_join 表示在此次查询中需要读取的数据量:
对于 s2 表的 “cost_info” 部分是这样的:
“cost_info”: {
“read_cost”: “968.80”,
“eval_cost”: “193.76”,
“prefix_cost”: “3197.16”,
“data_read_per_join”: “1M”
}
由于 s2 表是被驱动表,所以可能被读取多次,这里的 read_cost 和 eval_cost 是访问多次 s2 表后累加起来的值,大家主要关注里边儿的 prefix_cost 的值代表的是整个连接查询预计的成本,也就是单次查询 s1 表和多次查询 s2 表后的成本的和,也就是:
968.80 + 193.76 + 2034.60 = 3197.16
3. TREE格式
TREE格式是8.0.16版本之后引入的新格式,主要根据查询的 各个部分之间的关系 和 各部分的执行顺序 来描述如何查询
EXPLAIN FORMAT=tree SELECT * FROM s1 INNER JOIN s2 ON s1.key1 = s2.key2 WHERE
s1.common_field = 'a'\G
4. 可视化输出
可视化输出,可以通过MySQL Workbench可视化查看MySQL的执行计划。通过点击Workbench的放大镜图标,即可生成可视化的查询计划。
上图按从左到右的连接顺序显示表。红色框表示 全表扫描 ,而绿色框表示使用 索引查找 。对于每个表,显示使用的索引。还要注意的是,每个表格的框上方是每个表访问所发现的行数的估计值以及访问该表的成本
7.2 SHOW WARNINGS的使用
在使用EXPLAIN 语句查看了某个查询的执行计划后,紧接着还可以使用SHOW WARNINGS 语句查看与这个查询的执行计划有关的一些扩展信息,比如这样:
EXPLAIN SELECT s1.key1, s2.key1 FROM s1 LEFT JOIN s2 ON s1.key1 = s2.key1 WHERE
s2.common_field IS NOT NULL;
SHOW WARNINGS\G
select `atguigudb`.`s1`.`key1` AS `key1`,`atguigudb`.`s2`.`key1` AS `key1` from `atguigudb`.`s1` join `atguigudb`.`s2` where ((`atguigudb`.`s1`.`key1` = `atguigudb`.`s2`.`key1`) and (`atguigudb`.`s2`.`common_field` is not null))
*/
可以看到 SHOW WARNINGS 展示出来的信息有三个字段,分别是Level 、Code 、Message 。最常见的就是code为1003的信息,当Code信为1003时,Message 字段展示的信息类似于查询优化器将查询语句重写后的语句。比如上边的查询本来是一个左(外)连接查询,但是有一个s2.common_field IS NOT NULL的条件,这就会导致查询优化器把左(外〉连接查询优化为内连接查询,从SHOW WARNINGS 的 Message 字段也可以看出来,原本的LEFTJOIN已经变成了JOIN。
小结: 通过SHOW WARNINGS可以看到优化器对查询语句的重写和优化
8. 分析优化器执行计划:trace
OPTIMIZER_TRACE 是MySQL 5.6引入的一项跟踪功能,它可以跟踪优化器做出的各种决策〈比如访问表的方法、各种开销计算、各种转换等),并将跟踪结果记录到INFORMATION_SCHEMA.OPTIMIZER_TRACE 表中。
此功能默认关闭。开启trace,并设置格式为JSON,同时设置trace最大能够使用的内存大小,避免解析过程中因为默认内存过小而不能够完整展示
SET optimizer_trace="enabled=on",end_markers_in_json=on;
set optimizer_trace_max_mem_size=1000000;
开启后,可分析如下语句:
- SELECT
- INSERT
- REPLACE
- UPDATE
- DELETE
- EXPLAIN
- SET
- DECLARE
- CASE
- IF
- RETURN
- CALL
测试:执行如下SQL语句
select * from student where id < 10;
最后, 查询 information_schema.optimizer_trace 就可以知道MySQL是如何执行SQL的 :
select * from information_schema.optimizer_trace\G
*************************** 1. row ***************************
QUERY: select * from student where id < 10
TRACE: {
"steps": [
{
"join_preparation": {
"select#": 1,
"steps": [
{
"expanded_query": "/* select#1 */ select `student`.`id` AS
`id`,`student`.`stuno` AS `stuno`,`student`.`name` AS `name`,`student`.`age` AS
`age`,`student`.`classId` AS `classId` from `student` where (`student`.`id` < 10)"
}
]
}
},
{
"join_optimization": {
"select#": 1,
"steps": [
{
"condition_processing": {
"condition": "WHERE",
"original_condition": "(`student`.`id` < 10)",
"steps": [
{
"transformation": "equality_propagation",
"resulting_condition": "(`student`.`id` < 10)"
},
{
"transformation": "constant_propagation",
"resulting_condition": "(`student`.`id` < 10)"
},
{
"transformation": "trivial_condition_removal",
"resulting_condition": "(`student`.`id` < 10)"
}
]
}
}
},
{
"substitute_generated_columns": {
}
},
{
"table_dependencies": [
{
"table": "`student`",
"row_may_be_null": false,
"map_bit": 0,
"depends_on_map_bits": [
]
}
]
},
{
"ref_optimizer_key_uses": [
]
},
{
"rows_estimation": [
{
"table": "`student`",
"range_analysis": {
"table_scan": {
"rows": 3973767,
"cost": 408558
} ,
"potential_range_indexes": [
{
"index": "PRIMARY",
"usable": true,
"key_parts": [
"id"
]
}
] ,
"setup_range_conditions": [
] ,
"group_index_range": {
"chosen": false,
"cause": "not_group_by_or_distinct"
} ,
"skip_scan_range": {
"potential_skip_scan_indexes": [
{
"index": "PRIMARY",
"usable": false,
"cause": "query_references_nonkey_column"
}
]
} ,
"analyzing_range_alternatives": {
"range_scan_alternatives": [
{
"index": "PRIMARY",
"ranges": [
"id < 10"
] ,
"index_dives_for_eq_ranges": true,
"rowid_ordered": true,
" using_mrr": false,
"index_only": false,
"rows": 9,
"cost": 1.91986,
"chosen": true
}
] ,
"analyzing_roworder_intersect": {
"usable": false,
"cause": "too_few_roworder_scans"
}
} ,
"chosen_range_access_summary": {
"range_access_plan": {
"type": "range_scan",
"index": "PRIMARY",
"rows": 9,
"ranges": [
"id < 10"
]
} ,
"rows_for_plan": 9,
"cost_for_plan": 1.91986,
"chosen": true
}
}
}
]
},
{
"considered_execution_plans": [
{
"plan_prefix": [
] ,
"table": "`student`",
"best_access_path": {
"considered_access_paths": [
{
"rows_to_scan": 9,
"access_type": "range",
"range_details": {
"used_index": "PRIMARY"
} ,
"resulting_rows": 9,
"cost": 2.81986,
"chosen": true
}
]
} ,
"condition_filtering_pct": 100,
"rows_for_plan": 9,
"cost_for_plan": 2.81986,
"chosen": true
}
]
},
{
"attaching_conditions_to_tables": {
"original_condition": "(`student`.`id` < 10)",
"attached_conditions_computation": [
] ,
"attached_conditions_summary": [
{
"table": "`student`",
"attached": "(`student`.`id` < 10)"
}
]
}
},
{
"finalizing_table_conditions": [
{
"table": "`student`",
"original_table_condition": "(`student`.`id` < 10)",
"final_table_condition ": "(`student`.`id` < 10)"
}
]
},
{
"refine_plan": [
{
"table": "`student`"
}
]
}
]
}
},
{
"join_execution": {
"select#": 1,
"steps": [
]
}
}
]
}
MISSING_BYTES_BEYOND_MAX_MEM_SIZE: 0
INSUFFICIENT_PRIVILEGES: 0
9. MySQL监控分析视图-sys schema
关于MySQL的性能监控和问题诊断,一般都从performance_schema中去获取想要的数据,在MySQL5.7.7版本中新增sys schema,它将performance_schema和information_schema中的数据以更容易理解的方式总结归纳为"视图",其目的就是为了降低查询performance_schema的复杂度 ,让DBA能够快遇的定位问题。下面看看这些库中都有哪些监控表和视图,学握了这些,在开发和运维的过程中就起到了事半功倍的效果。
9.1 Sys schema视图摘要
1. 主机相关:以host_summary开头,主要汇总了IO延迟的信息。 2. Innodb相关:以innodb开头,汇总了innodb buffer信息和事务等待innodb锁的信息。 3. I/o相关:以io开头,汇总了等待I/O、I/O使用量情况。 4. 内存使用情况:以memory开头,从主机、线程、事件等角度展示内存的使用情况 5. 连接与会话信息:processlist和session相关视图,总结了会话相关信息。 6. 表相关:以schema_table开头的视图,展示了表的统计信息。 7. 索引信息:统计了索引的使用情况,包含冗余索引和未使用的索引情况。 8. 语句相关:以statement开头,包含执行全表扫描、使用临时表、排序等的语句信息。 9. 用户相关:以user开头的视图,统计了用户使用的文件I/O、执行语句统计信息。 10. 等待事件相关信息:以wait开头,展示等待事件的延迟情况。
9.2 Sys schema视图使用场景
索引情况
select * from sys.schema_redundant_indexes;
select * from sys.schema_unused_indexes;
select index_name,rows_selected,rows_inserted,rows_updated,rows_deleted
from sys.schema_index_statistics where table_schema='dbname' ;
表相关
select table_schema,table_name,sum(io_read_requests+io_write_requests) as io from
sys.schema_table_statistics group by table_schema,table_name order by io desc;
select object_schema,object_name,allocated,data
from sys.innodb_buffer_stats_by_table order by allocated limit 10;
select * from sys.statements_with_full_table_scans where db='dbname';
语句相关
select db,exec_count,query from sys.statement_analysis
order by exec_count desc;
select db,exec_count,first_seen,last_seen,query
from sys.statements_with_sorting limit 1;
select db,exec_count,tmp_tables,tmp_disk_tables,query
from sys.statement_analysis where tmp_tables>0 or tmp_disk_tables >0
order by (tmp_tables+tmp_disk_tables) desc;
IO相关
select file,avg_read,avg_write,avg_read+avg_write as avg_io
from sys.io_global_by_file_by_bytes order by avg_read limit 10;
Innodb 相关
select * from sys.innodb_lock_waits
风险提示: 通过sys库去查询时,MySQL会消耗大量资源 去收集相关信息,严重的可能会导致业务请求被阻塞,从而引起故障。建议生产上不要频繁 的去查询sys或者performance_schema、information_schema来完成监控、巡检等工作。
10.小结
查询是数据库中最频繁的操作,提高查询速度可以有效地提高MysQL数据库的性能。通过对查询语句的分析可以了解查询语句的执行能力。找出查询语句的瓶颈,从而优化查询语句。
最后
2022/8/4 15:47
p134~p140
Markdown 91583 字数 2760 行数 HTML 89405 字数 2017 段落
|