IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 【MySQL性能优化系列】select count(*)走二级索引比主键索引快几百倍,你敢信? -> 正文阅读

[大数据]【MySQL性能优化系列】select count(*)走二级索引比主键索引快几百倍,你敢信?

问题

在MySQL版本5.7数据测试过程中,一张百万数据的表用 select count(*)查询特别慢需要20s并且是走了主键索引,为什么查询还需要这么久?如何优化?下面我们将请到当事SQL进行发言

验证分析

猜想

先猜想一波为什么走了主键索引依旧很慢?
在这里插入图片描述

没有建立二级索引。

聪明的小伙伴会问了二级索引还能比主键索引快?是的,在count统计情况且表字段数据很大的情况下是会快很多。

干货补充。

因为在 InnoDB 存储引擎中,count(*) 函数是先从内存中读取数据到内存缓冲区,然后进行扫描获得行记录数。InnoDB 会优先走二级索引,若无会走主键索引。导致耗时较长。

在MyISAM存储引擎中,count()函数是直接读取数据表保存的行记录数并返回。
在使用count函数中加上where条件时,在两个存储引擎中的效果是一样的,都会扫描全表计算某字段有值项的次数。


聚簇索引:每一个 InnoDB 存储引擎下的表都有一个特殊的索引用来保存每一行的数据,称为聚簇索引(通常都为主键),聚簇索引实际保存了 B-Tree 索引和行数据,所以大小实际上约等于为表数据量。

二级索引:除了聚集索引,表上其他的索引都是二级索引,索引中仅仅存储了对应索引列及主键列。

接下来查看下当事表是什么情况吧!

验证

接下来主要对比主键索引和二级索引在count(*)情况下的区别。

0、查看表中索引信息

 show index from test;

只有主键索引。
在这里插入图片描述

1、当事SQL语句如下:

SELECT count(*) from test;

2、执行结果如下:

1306725
> OK
> 时间: 17.397s

3、查看执行计划:

desc SELECT count(*) from test

在这里插入图片描述确实是走了主键索引。

4、重启数据库

window重启mysql:

net stop mysql
net start mysql

linux:

service mysqld restart

5、查看内存缓冲区情况

select * from sys.innodb_buffer_stats_by_table where object_schema = 'test';

在这里插入图片描述

6、再次执行SELECT count(*) from test查看内存缓冲区情况

在这里插入图片描述

7、加入二级索引重复以上验证

ALTER TABLE `test`.`test`
ADD INDEX `idx_id`(`id`) USING BTREE;

查看二级索引大小:大约15M。

SELECT CONCAT(ROUND(SUM((data_length+index_length)/1024/1024),2),'MB') AS DATA FROM information_schema.`TABLES` WHERE table_schema='test' AND table_name='test';

加索引前表数据大小
931.50MB
加索引后前表数据大小
916.98MB

执行:

SELECT count(*) from test
1306725
> OK
> 时间: 0.198s

查看执行计划:
在这里插入图片描述使用的二级索引。
查看缓冲区情况:
在这里插入图片描述缓冲区数据大小与二级索引大小基本相同

小结

通过验证与猜想中的实际理论相符。在没有二级索引的情况下, select count(*) 会走主键索引,缓存整表数据到缓冲区。如果存在二级索引,只需要读取索引页到缓冲区,查询速度显著提高几百倍。以上是基于MySQL版本5.7进行测试,如果是MySQL 8.0就能使用新特性 并行查询 innodb_parallel_read_threads ,再次提高查询速度。

并行查询示例如下:

set  local  innodb_parallel_read_threads=888;
select  count (*)  from  test;

小拓展

count(*)、count(1)、count(0)、count(列名)用哪个?

使用count(*) 就可以了

阿里巴巴规范参考:

【强制】不要使用 count(列名)或 count(常量)来替代 count(),count()是 SQL92 定义的标准统计行数的语法,跟数据库无关,跟 NULL 和非 NULL 无关。 说明:count(*)会统计值为 NULL 的行,而count(列名)不会统计此列为 NULL 值的行。

【强制】count(distinct col) 计算该列除 NULL 之外的不重复行数,注意 count(distinct col1, col2) 如果其中一列全为 NULL,那么即使另一列有不同的值,也返回为 0。

【强制】当某一列的值全是 NULL时,count(col)的返回结果为 0,但 sum(col)的返回结果为NULL,因此使用 sum()时需注意 NPE 问题。

查询一个库中每个表的数据大小,索引大小和总大小

 SELECT
CONCAT(a.table_schema,'.',a.table_name) as '表名',
CONCAT(ROUND(table_rows/1000,4),'KB') AS '行大小',
CONCAT(ROUND(data_length/(1024*1024),4),',') AS '数据大小',
CONCAT(ROUND(index_length/(1024*1024),4),'M') AS '索引大小',
CONCAT(ROUND((data_length+index_length)/(1024*1024*1024),4),'G') AS'总大小'
FROM
information_schema.TABLES a
WHERE
a.table_schema = 'test'
ORDER BY index_length desc

在这里插入图片描述

点赞 收藏 关注
山花对海树,赤日对苍穹。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-11-05 00:34:28  更:2022-11-05 00:34:32 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 10:37:04-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码