IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 【mysql 提高查询效率】?Mysql 数据库查询好慢问题解决 -> 正文阅读

[大数据]【mysql 提高查询效率】?Mysql 数据库查询好慢问题解决

mysql查询为什么会慢,关于这个问题,在实际开发经常会遇到。下面和大家一起聊聊如何解决这个问题。

遇到这种问题,我们一般也会想到是因为索引。看看是否没有建立索引,如果没有,相应应该建立索引。
如:

CREATE INDEX index_create_time ON temperature_new_output (create_time)

那除开索引之外,还有哪些因素会导致数据库查询变慢呢?要回答这个问题,我们 先从sql 语句的查询原理来说。Mysql架构 如下:

在这里插入图片描述

我们先来看下,一条查询语句下来,会经历哪些流程。
我们平常写的应用代码(pymysql之类),这时候就叫 客户端 了。

  1. 客户端底层会带着账号密码,尝试向mysql建立一条TCP长链接。
  2. mysql的 连接管理模块 会对这条连接进行管理。
  3. 建立连接后,客户端执行一条查询sql语句
  4. 客户端会将sql语句通过网络连接给mysql。
  5. mysql收到sql语句后,会在 分析器 中先判断下SQL语句有没有语法错误,如果有错误,会报错。
  6. 接下来是 优化器 ,在这里会 根据一定的规则选择该用什么索引 。
  7. 接下来 是 通过 执行器 去调用 存储引擎 的接口函数。存储引擎类似于一个个组件,它们才是mysql真正获取一行行数据并返回数据的地方,存储引擎是可以替换更改的,既可以用不支持事务的MyISAM,也可以替换成支持事务的Innodb。这个可以在建表的时候指定。现在最常用的是 InnoDB 。
  8. InnoDB 获取数据,返回客户端。

我们就重点说这个innoDB。InnoDB中,因为直接操作磁盘会比较慢,所以加了一层内存提提速,叫 buffer pool ,这里面,放了很多内存页,每一页16KB,有些内存页放的是数据库表里看到的那种一行行的数据,有些则是放的索引信息。
在这里插入图片描述
查询SQL到了InnoDB中。会根据前面优化器里计算得到的索引,去 查询相应的索引页 ,如果不在buffer pool里则从磁盘里加载索引页。 再通过索引页加速查询,得到数据页 的具体位置。如果这些数据页不在buffer pool中,则从磁盘里加载进来。这样我们就得到了我们想要的一行行数据。最后将得到的数据结果返回给客户端。

下面我们可以进行慢查询分析

我们可以通过开启 profiling 看到流程慢在哪。

mysql> show variables like 'profiling';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| profiling     | ON    |
+---------------+-------+
1 row in set (0.00 sec)

如果没有开启,我们设置开启。
mysql> set profiling=ON;
Query OK, 0 rows affected, 1 warning (0.00 sec)

然后正常执行sql语句。这些SQL语句的执行时间都会被记录下来,此时你想查看有哪些语句被记录下来了,可以执行 show profiles;

mysql> show profiles;
+----------+------------+---------------------------------------------------+
| Query_ID | Duration   | Query                                             |
+----------+------------+---------------------------------------------------+
|        1 | 0.06811025 | select * from user where age>=60                  |
|        2 | 0.00151375 | select * from user where gender = 2 and age = 80  |
|        3 | 0.00230425 | select * from user where gender = 2 and age = 60  |
|        4 | 0.00070400 | select * from user where gender = 2 and age = 100 |
|        5 | 0.07797650 | select * from user where age!=60                  |
+----------+------------+---------------------------------------------------+
5 rows in set, 1 warning (0.00 sec)

关注下上面的 query_id ,比如 select * from user where age>=60 对应的query_id是1,如果你想查看这条SQL语句的具体耗时,那么可以执行以下的命令。

mysql> show profile for query 1;
+----------------------+----------+
| Status               | Duration |
+----------------------+----------+
| starting             | 0.000074 |
| checking permissions | 0.000010 |
| Opening tables       | 0.000034 |
| init                 | 0.000032 |
| System lock          | 0.000027 |
| optimizing           | 0.000020 |
| statistics           | 0.000058 |
| preparing            | 0.000018 |
| executing            | 0.000013 |
| Sending data         | 0.067701 |
| end                  | 0.000021 |
| query end            | 0.000015 |
| closing tables       | 0.000014 |
| freeing items        | 0.000047 |
| cleaning up          | 0.000027 |
+----------------------+----------+
15 rows in set, 1 warning (0.00 sec)

通过上面的各个项,大家就可以看到具体耗时在哪。比如从上面可以看出Sending data的耗时最大,这个是指 执行器 开始查询数据并将数据发送给客户端的耗时,因为我的这张表符合条件的数据有 好几万条 ,所以这块耗时最大,也符合预期。

一般情况下,我们开发过程中,耗时大部分时候都在 Sending data 阶段,而这一阶段里如果慢的话,最容易想到的还是索引相关的原因。查询索引分析,我们可以用explain 命令,在select 前面加上。

索引问题:

走了索引还是很慢,有些sql,用 explain 命令看,明明是走索引的,但还是很慢。一般是两种情况:

  • 第一种是索引区分度太低,比如网页全路径的url链接,这拿来做索引,一眼看过去全都是同一个域名,如果 前缀索引 的长度建得不够长,那这走索引跟走 全表扫描 似的,正确姿势是尽量让索引的 区分度 更高,比如域名去掉,只拿后面URI部分去做索引。
  • 第二种是索引中匹配到的数据太大,这时候需要关注的是explain里的 rows 字段了。它是用于 预估 这个查询语句需要查的行数的,它不一定完全准确,但可以体现个大概量级。当它很大时,一般常见的是下面几种情况。
    如果这个字段具有 唯一 的属性,比如电话号码等,一般是不应该有大量重复的,那可能是你代码逻辑出现了 大量重复插入 的操作,你需要检查下代码逻辑,或者需要加个 唯一索引 限制下。如果这个字段下的数据就是会很大,是否需要全部拿?如果不需要,加个 limit 限制下。如果确实要拿全部,那也不能一次性全拿,今天你数据量小,可能一次取一两万都没啥压力,万一哪天涨到了十万级别,那一次性取就有点吃不消了。你可能需要 分批次取 ,具体操作是先用 order by id 排序一下,拿到一批数据后取 最大id 作为下次取数据的起始位置。

连接数过小问题
我们可以看到,mysql的server层里有个 连接管理 ,它的作用是管理客户端和mysql之间的长连接。正常情况下,客户端与server层如果只有 一条 连接,那么在执行sql查询之后,只能阻塞等待结果返回,如果有大量查询同时并发请求,那么 后面的请求都需要等待前面的请求执行完成 后,才能开始执行。
在这里插入图片描述
因此很多时候我们的应用程序,比如go或java这些, 会打印出sql执行了几分钟的日志,但实际上你把这条语句单独拎出来执行,却又是毫秒级别的。 这都是因为这些sql语句在 等待 前面的sql执行完成。怎么解决呢?如果我们能 多建几条连接 ,那么请求就可以并发执行,后面的连接就不用等那么久了。

而连接数过小的问题, 受数据库和客户端两侧同时限制 。数据库连接数过小。Mysql的最大连接数默认是 100 , 最大可以达到 16384 。

数据库端连接数过小:
可以通过设置mysql的 max_connections 参数,更改数据库的最大连接数。

mysql> set global max_connections= 500;
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like 'max_connections';
+-----------------+-------+
| Variable_name   | Value |
+-----------------+-------+
| max_connections | 500   |
+-----------------+-------+
1 row in set (0.00 sec)

上面的操作,就把最大连接数改成了500。

客户端连接数过小
数据库连接大小是调整过了,但貌似问题还是没有变化?还是有很多sql执行达到了几分钟,甚至超时?
那有可能是因为你应用侧(go,java写的应用,也就是mysql的客户端)的连接数也过小。
应用侧与mysql底层的连接,是 基于TCP协议的长链接 ,而TCP协议,需要经过 三次握手和四次挥手 来实现建连和释放。如果我每次执行sql都重新建立一个新的连接的话,那就要不断握手和挥手,这很 耗时 。所以一般会建立一个 长连接池 ,连接用完之后,塞到连接池里,下次要执行sql的时候,再从里面捞一条连接出来用,非常环保。
在这里插入图片描述
buffer pool太小
连接数是上去了,速度也提升了。有没有其他办法可以让速度更快呢?我们在前面的数据库查询流程里,提到了进了innodb之后,会有一层内存buffer pool,用于将磁盘数据页加载到内存页中,只要查询到buffer pool里有,就可以直接返回,否则就要走磁盘IO,那就慢了。也就是说, 如果我的buffer pool 越大,那我们能放的数据页就越多,相应的,sql查询时就更可能命中buffer pool,那查询速度自然就更快了。

可以通过下面的命令查询到buffer pool的大小,单位是 Byte 。

mysql> show global variables like 'innodb_buffer_pool_size';
+-------------------------+-----------+
| Variable_name           | Value     |
+-------------------------+-----------+
| innodb_buffer_pool_size | 134217728 |
+-------------------------+-----------+
1 row in set (0.01 sec)

也就是 128Mb 。

如果想要调大一点。可以执行

mysql> set global innodb_buffer_pool_size = 536870912;
Query OK, 0 rows affected (0.01 sec)

mysql> show global variables like 'innodb_buffer_pool_size';
+-------------------------+-----------+
| Variable_name           | Value     |
+-------------------------+-----------+
| innodb_buffer_pool_size | 536870912 |
+-------------------------+-----------+
1 row in set (0.01 sec)

这样就把buffer pool增大到512Mb了。

但是吧,如果buffer pool大小正常,只是 别的原因 导致的查询变慢,那改buffer pool毫无意义。

但问题又来了。怎么知道buffer pool是不是太小了?这个我们可以看 buffer pool的缓存命中率 。

通过 show status like ‘Innodb_buffer_pool_%’; 可以看到跟buffer pool有关的一些信息。

Innodb_buffer_pool_read_requests 表示读请求的次数。

Innodb_buffer_pool_reads 表示从物理磁盘中读取数据的请求次数。

所以buffer pool的命中率就可以这样得到:
buffer pool 命中率 = 1 - (Innodb_buffer_pool_reads/Innodb_buffer_pool_read_requests) * 100%

在这里插入图片描述
比如我上面截图里的就是,1 - (405/2278354) = 99.98%。可以说命中率非常高了。

一般情况下 buffer pool命中率 都在 99% 以上,如果低于这个值,才需要考虑加大innodb buffer pool的大小。

当然,还可以把这个命中率做到 监控 里,这样半夜sql变慢了,早上上班还能定位到原因,就很舒服。

总结

  1. 数据查询过慢一般是索引问题,可能是因为选错索引,也可能是因为查询的行数太多。
  2. 客户端和数据库连接数过小,会限制sql的查询并发数,增大连接数可以提升速度。
  3. innodb里会有一层内存buffer pool用于提升查询速度,命中率一般>99%,如果低于这个值,可以考虑增大buffer pool的大小,这样也可以提升速度。
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-21 19:02:54  更:2022-05-21 19:03:53 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 20:08:23-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码