[大数据]MySQL进阶篇（上）--自用笔记《黑马程序员》

MySQL进阶篇（上）

存储引擎

MySQL体系结构

MySQL体系结构自上而下可分为四个层面：连接层，服务层，引擎层和存储层。如下图所示。

存储引擎简介

存储引擎就是存储数据、建立索引、更新/查询数据等技术的实现方式。存储引擎是基于表的，而不是基于库的，所以存储引擎也可被称为表类型。

1.在创建表时，指定存储引擎

CREATE TABLE 表名(
    字段1 字段1类型 [COMMENT 字段1注释],
    ......
    字段n 字段n类型 [COMMENT 字段n注释]
)ENGINE = INNODB [ COMMENT 表注释];

2.查看当前数据库支持的存储引擎

SHOW ENGINES;

eg.

-- 查询建表语句---默认存储引擎:InnoDB
show create table account;
-- 查询当前数据库支持的存储引擎
show engines;
-- 创建表my_myisam ,并指定MyISAM存储引擎
create table my_myisam(
    id int,
    name varchar(10)
)engine = MyISAM;
-- 创建表my_memory ,指定Memory存储引擎
create table my_memory(
    id int,
    name varchar(10)
)engine = Memory;

存储引擎特点

• lnnoDB

  1.介绍

  InnoDB是一种兼顾高可靠性和高性能的通用存储引擎，在MySQL 5.5之后，InnoDB是默认的 MySQL存储引擎。

  2.特点

  DML操作遵循ACID模型，支持事务;

  行级锁，提高并发访问性能;

  支持外键FOREIGN KEY约束，保证数据的完整性和正确性;

  3.文件

  xxx.ibd: xox代表的是表名，innoDB引擎的每张表都会对应这样一个表空间文件，存储该表的表结构（frm、sdi)、数据和索引。

  参数:innodb_file_per_table

  show variables like 'innodb_file_per_table';
  

  4.逻辑存储结构

  

• MylSAM

  1.介绍

  MylSAM是MySQL早期的默认存储引擎。

  2.特点

  不支持事务，不支持外键

  支持表锁，不支持行锁

  访问速度快

  3.文件

  xxx.sdi:存储表结构信息

  xxx.MYD:存储数据

  xxx.MYI:存储索引

• Memory

  1.介绍

  Memory引擎的表数据时存储在内存中的，由于受到硬件问题、或断电问题的影响，只能将这些表作为临时表或缓存使用。

  2.特点

  内存存放

  hash索引（默认)

  3.文件

  xxx.sdi:存储表结构信息

存储引擎选择

在选择存储引擎时，应该根据应用系统的特点选择合适的存储引擎。对于复杂的应用系统，还可以根据实际情况选择多种存储引擎进行组合。

InnoDB∶是Mysql的默认存储引擎，支持事务、外键。如果应用对事务的完整性有比较高的要求，在并发条件下要求数据的一致性，数据操作除了插入和查询之外，还包含很多的更新、删除操作，那么InnoDB存储引擎是比较合适的选择。

MyISAM:如果应用是以读操作和插入操作为主，只有很少的更新和删除操作，并且对事务的完整性、并发性要求不是很高，那么选择这个存储引擎是非常合适的。

MEMORY:将所有数据保存在内存中，访问速度快，通常用于临时表及缓存。MEMORY的缺陷就是对表的大小有限制，太大的表无法缓存在内存中，而且无法保障数据的安全性。

索引

索引概述

• 介绍

  索引(index)是帮助MysQL高效获取数据的数据结构(有序)。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引。

• 优缺点

  优势	劣势
  提高数据检索的效率，降低数据库的IO成本	索引列也是要占用空间的。
  通过索引列对数据进行排序，降低数据排序的成本，降低CPU的消耗。	索引大大提高了查询效率，同时却也降低更新表的速度，如对表进行INSERT、UPDATE、DELETE时，效率降低。

索引结构

MySQL的索引是在存储引擎层实现的，不同的存储引擎有不同的结构，主要包含以下几种:

我们平常所说的索引，如果没有特别指明，都是指B+树结构组织的索引。

• 二叉树

  二叉树缺点:顺序插入时，会形成一个链表，查询性能大大降低。大数据量情况下，层级较深，检索速度慢。

  红黑树:大数据量情况下，层级较深，检索速度慢。

• B-Tree(多路平衡查找树)

  以一颗最大度数（max-degree)为5(5阶)的b-tree为例(每个节点最多存储4个key，5个指针):

知识小贴士:树的度数指的是一个节点的子节点个数。

• B+Tree

  MySQL索引数据结构对经典的B+Tree进行了优化。在原B+Tree的基础上，增加一个指向相邻叶子节点的链表指针，就形成了带有顺序指针的B+Tree，提高区间访问的性能。

• Hash

  哈希索引就是采用一定的hash算法，将键值换算成新的hash值，映射到对应的槽位上，然后存储在hash表中。

  如果两个(或多个)键值，映射到一个相同的槽位上，他们就产生了hash冲突(也称为hash碰撞)，可以通过链表来解决。

• Hash索引特点

  1.Hash索引只能用于对等比较(=，in)，不支持范围查询(between，>，<,…)

  2.无法利用索引完成排序操作

  3.查询效率高，通常只需要一次检索就可以了，效率通常要高于B+tree索引

• 存储引擎支持

  在MysQL中，支持hash索引的是Memory引擎，而innoDB中具有自适应hash功能，hash索引是存储引擎根据B+Tree索引在指定条件下自动构建的。

索引分类

在InnoDB存储引擎中，根据索引的存储形式，又可以分为以下两种:

聚集索引选取规则:

1、如果存在主键，主键索引就是聚集索引。

2、如果不存在主键，将使用第一个唯一（UNIQUE）索引作为聚集索引。

3、如果表没有主键，或没有合适的唯一索引，则InnoDB会自动生成一个rowid作为隐藏的聚集索引。

索引语法

创建索引

CREATE [UNIQUE|FULLTEXT] INDEX index_name ON table_name (index_col_name,.....);

查看索引

SHOW INDEX FROM table_name;

删除索引

DROP INDEX index_name ON table_name;

SQL性能分析

• SQL执行频率

  MySQL客户端连接成功后，通过show [session|global] status命令可以提供服务器状态信息。通过如下指令，可以查看当前数据库的INSERT、UPDATE、DELETE、SELECT的访问频次:

  SHOW GLOBAL STATUS LIKE 'Com____';
  

• 慢查询日志

  慢查询日志记录了所有执行时间超过指定参数(long_query_time，单位:秒，默认10秒)的所有SQL语句的日志。

  MySQL的慢查询日志默认没有开启，需要在MySQL的配置文件(/etc/my.cnf）中配置如下信息:

  #开启MySQL慢日志查询开关
  slow_query_log=1
  #设置慢日志的时间为2秒，SQL语句执行时间超过2秒，就会视为慢查询，记录慢查询日志
  long_query_time=2
  

• profile详情

  执行一系列的业务SQL的操作，然后通过如下指令查看指令的执行耗时:

  #查看每一条SQL的耗时基本情况
  show profiles;
  #查看指定query_id的SQL语句各个阶段的耗时情况
  show profile for query query_id;
  #查看指定query_id的SQL语句CPU的使用情况
  show profile cpu for query query_id;
  

• explain执行计划

  EXPLAIN或者DESC命令获取MySQL如何执行SELECT语句的信息，包括在SELECT语句执行过程中表如何连接和连接的顺序。

  语法：

  #直接在select语句之前加上关键字explain / desc
  EXPLAIN SELECT字段列表FROM 表名 WHERE条件;
  

  EXPLAIN 执行计划各字段含义:

  Id：select查询的序列号，表示查询中执行select子句或者是操作表的顺序(id相同，执行顺序从上到下；id不同，值越大，越先执行)。

  select_type：表示SELECT的类型，常见的取值有SIMPLE(简单表，即不使用表连接或者子查询)、PRIMARY（主查询，即外层的查询)、UNION(UNION中的第二个或者后面的查询语句)、SUBQUERY (SELECT/WHERE之后包含了子查询）等。

  type：表示连接类型，性能由好到差的连接类型为NULL、system、const、eq_ref、ref、range、index、all 。

  possible_key：显示可能应用在这张表上的索引，一个或多个。

  Key：实际使用的索引，如果为NULL，则没有使用索引。

  Key_len：表示索引中使用的字节数，该值为索引字段最大可能长度，并非实际使用长度，在不损失精确性的前提下，长度越短越好。

  rows：MySQL认为必须要执行查询的行数，在innodb引擎的表中，是一个估计值，可能并不总是准确的。

  filtered：表示返回结果的行数占需读取行数的百分比, filtered 的值越大越好。

索引使用

• 验证索引效率

  在未建立索引之前，执行如下SQL语句，查看SQL的耗时。

  SELECT * FROM tb_sku WHERE sn = '100000003145001';
  

  针对字段创建索引

  create index idx_sku_sn on tb_sku(sn) ;
  

  然后再次执行相同的SQL语句，再次查看SQL的耗时。

  SELECT * FROM tb_sku WHERE sn ='700000003145001';
  

• 最左前缀法则

  如果索引了多列(联合索引)，要遵守最左前缀法则。最左前缀法则指的是查询从索引的最左列开始，并且不跳过索引中的列。如果跳跃某一列，索引将部分失效(后面的字段索引失效)。

  explain select * from tb_user where profession= '软件工程' and age = 31 and status = 'O';
  explain select * from tb_user where profession= '软件工程' and age = 31;
  explain select * from tb_user where profession = '软件工程';
  explain select * from tb_user where age = 31 and status = 'O';
  explain select * from tb_user where status = 'O';
  

• 范围查询

  联合索引中，出现范围查询(>,<)，范围查询右侧的列索引失效

  explain select * from tb_user where profession= '软件工程' and age > 30 and status = '0';
  explain select * from tb_user where profession= '软件工程' and age >= 30 and status = '0';
  

• 索引列运算

  不要在索引列上进行运算操作,索引将失效。

  explain select * from tb_user where substring(phone,10,2)= '15';
  

• 字符串不加引号

  字符串类型字段使用时，不加引号，索引将失效。

  explain select * from tb_user where profession = '软件工程' and age = 31 and status =o;
  explain select * from tb_user where phone = 17799990015;
  

• 模糊查询

  如果仅仅是尾部模糊匹配，索引不会失效。如果是头部模糊匹配，索引失效。

  explain select * from tb_user where profession like '软件%';
  explain select * from tb_user where profession like '%工程';
  explain select * from tb_user where profession like '%工%';
  

• or连接的条件

  用or分割开的条件，如果or前的条件中的列有索引，而后面的列中没有索引，那么涉及的索引都不会被用到。

  explain select * from tb_user where id = 10 or age = 23;
  explain select *from tb_user where phone = '17799990017' or age = 23;
  

  由于age没有索引，所以即使id、phone有索引，索引也会失效。所以需要针对于age也要建立索引。

• 数据分布影响

  如果MysQL评估使用索引比全表更慢，则不使用索引。

  select * from tb_user where phone >= '17799990005';
  select * from tb_user where phone >= '17799990015';
  

• SQL提示

  SQL提示，是优化数据库的一个重要手段，简单来说，就是在5QL语句中加入一些人为的提示来达到优化操作的目的。

  use index:

  explain select * from tb_user use index(idx_user_pro) where profession= '软件工程";
  

  ignore index:

  explain select * from tb_user ignore index(idx_user_pro) where profession= '软件工程';
  

  force index:

  explain select * from tb_user force index(idx_user_pro) where profession= '软件工程";
  

• 覆盖索引

  尽量使用覆盖索引(查询使用了索引，并且需要返回的列，在该索引中已经全部能够找到)，减少select *。

  explain select id, profession from tb_user where profession='软件工程' and age =31 and status = 'O';
  explain select id, profession, age, tatus from tb_user where profession='软件工程' and age = 31 and status = 'O';
  explain select id, profession ,age, status, name from tb_user where profession ='软件工程' and age = 31 and status = '0';
  explain select * from tb_user where profession= '软件工程' and age = 31 and status = 'O';
  

  知识小贴士:

  using index condition :查找使用了索引,但是需要回表查询数据;

  using where; using index:查找使用了索引，但是需要的数据都在索引列中能找到，所以不需要回表查询数据.

• 前缀索引

  当字段类型为字符串(varchar, text等)时，有时候需要索引很长的字符串，这会让索引变得很大，查询时，浪费大量的磁盘IO，影响查询效率。此时可以只将字符串的一部分前缀，建立索引，这样可以大大节约索引空间，从而提高索引效率。

  语法:

  create index idx_xxxx on table_name(column(n));
  

  前缀长度:

  可以根据索引的选择性来决定，而选择性是指不重复的索引值（基数）和数据表的记录总数的比值，索引选择性越高则查询效率越高，唯一索引的选择性是1，这是最好的索引选择性，性能也是最好的。

  select count(distinct email) / count(*) from tb_user ;
  select count(distinct substring(email,1,5))/ count(*) from tb_user ;
  

• 单列索引与联合索引

  单列索引:即一个索引只包含单个列。

  联合索引:即一个索引包含了多个列。

  在业务场景中，如果存在多个查询条件，考虑针对于查询字段建立索引时，建议建立联合索引，而非单列索引。

  单列索引情况:

  explain select id, phone, name from tb_user where phone = '17799990010' and name = '韩信';
  

  多条件联合查询时，MySQL优化器会评估哪个字段的索引效率更高，会选择该索引完成本次查询。

索引设计原则

1、针对于数据量较大，且查询比较频繁的表建立索引。

2、针对于常作为查询条件(where)、排序(order by)、分组(group by)操作的字段建立索引。

3、尽量选择区分度高的列作为索引，尽量建立唯一索引，区分度越高，使用索引的效率越高。

4、如果是字符串类型的字段，字段的长度较长，可以针对于字段的特点，建立前缀索引。

5、尽量使用联合索引，减少单列索引，查询时，联合索引很多时候可以覆盖索引，节省存储空间，避免回表，提高查询效率。

6、要控制索引的数量，索引并不是多多益善，索引越多，维护索引结构的代价也就越大，会影响增删改的效率。

7、如果索引列不能存储NULL值，请在创建表时使用NOT NULL约束它。当优化器知道每列是否包含NULL值时，它可以更好地确定哪个索引最有效地用于查询。

SQL优化

插入数据

insert优化

批量插入

insert into tb_test values(1,'Tom'),(2,'Cat'),(3,'Jerry');

手动提交事务

start transaction;
insert into tb_test values(1,'Tom'),(2,'Cat'),(3,'Jerry');
insert into tb_test values(4,'Tom'),(5,'Cat'),(6,'Jerry');
insert into tb_test values(7,'Tomn'),(8,'Cat'),(9,'Jerry');
commit;

主键顺序插入

主键乱序插入:8 1 9 21 88 2 4 15 89 5 7 3
主键顺序插入:1 2 3 4 5 7 8 9 15 21 88 89

大批量插入数据

如果一次性需要插入大批量数据，使用insert语句插入性能较低，此时可以使用MySQL数据库提供的load指令进行插入。操作如下:

#客户端连接服务端时，加上参数--local-infile
mysql --local-infile -u root -p
#设置全局参数local_infile为1，开启从本地加载文件导入数据的开关
set global local_infile = 1;
#执行load指令将准备好的数据，加载到表结构中
load data local infile '/root/sql.log' into table 'tb_user fields terminated by ','lines terminated by '\n';

主键优化

数据组织方式

在InnoDB存储引擎中，表数据都是根据主键顺序组织存放的，这种存储方式的表称为索引组织表(index organized table IOT)。

页分裂

页可以为空，也可以填充一半，也可以填充100%。每个页包含了2-N行数据(如果一行数据多大，会行溢出)，根据主键排列。

页合并

当删除一行记录时，实际上记录并没有被物理删除，只是记录被标记(flaged)为删除并且它的空间变得允许被其他记录声明使用。

当页中删除的记录达到MERGE_THRESHOLD(默认为页的50%)，InnoDB会开始寻找最靠近的页（前或后）看看是否可以将两个页合并以优化空间使用。

知识小贴士:

MERGE_THRESHOLD:合并页的阈值，可以自己设置，在创建表或者创建索引时指定。

主键设计原则

满足业务需求的情况下，尽量降低主键的长度。

插入数据时，尽量选择顺序插入，选择使用AUTO_INCREMENT自增主键。

尽量不要使用UUID做主键或者是其他自然主键，如身份证号。

业务操作时，避免对主键的修改。

order by 优化

① Using filesort：通过表的索引或全表扫描，读取满足条件的数据行，然后在排序缓冲区sort buffer中完成排序操作，所有不是通过索引直接返回排序结果的排序都叫FileSort排序。

② Using index:通过有序索引顺序扫描直接返回有序数据，这种情况即为using index,不需要额外排序，操作效率高。

#没有创建索引时，根据age,phone进行排序
explain select id,age,phone from tb_user order by age, phone;
#创建索引
create index idx_user_age_phone_aa on tb_user(age,phone);
#创建索引后，根据age, phone进行升序排序
explain select id,age,phone from tb_user order by age, phone;
#创建索引后，根据age, phone进行降序排序
explain select id,age,phone from tb_user order by age desc , phone desc;


#根据age, phone进行降序一个升序，一个降序
explain select id,age,phone from tb_user order by age asc, phone desc;
#创建索引
create index idx_user_age_phone_ad on tb_user(age asc ,phone desc);
#根据age, phone进行降序一个升序,一个降序
explain select id,age,phone from tb_user order by age asc , phone desc;

根据排序字段建立合适的索引，多字段排序时，也遵循最左前缀法则。

尽量使用覆盖索引。

多字段排序，一个升序一个降序，此时需要注意联合索引在创建时的规则(ASC/DESC)。

如果不可避免的出现filesort，大数据量排序时，可以适当增大排序缓冲区大小 sort_buffer_size(默认256k)。

group by 优化

在分组操作时，可以通过索引来提高效率。

分组操作时，索引的使用也是满足最左前缀法则的。

#删除掉目前的联合索引idx_user_pro_age_sta
drop index idx_user_pro_age_sta on tb_user;
#执行分组操作，根据profession字段分组
explain select profession, count(*) from tb_user group by profession;
#创建索引
Create index idx_user_pro_age_sta on tb_user(profession, age, status);
#执行分组操作，根据profession字段分组
explain select profession, count(*) from tb_user group by profession;
#执行分组操作，根据profession字段分组
explain select profession, count(*) from tb_user group by profession, age;

limit优化

一个常见又非常头疼的问题就是limit 2000000，10，此时需要MySQL排序前2000010记录，仅仅返回2000000 -2000010的记录，其他记录丢弃，查询排序的代价非常大。

优化思路:一般分页查询时，通过创建覆盖索引能够比较好地提高性能，可以通过覆盖索引加子查询形式进行优化。

explain select *from tb_sku t, (select id from tb_sku order by id limit 2000000,10) a where tid = a.id;

count优化

explain select count(*) from tb_user;

MyISAM引擎把一个表的总行数存在了磁盘上，因此执行count(*)的时候会直接返回这个数，效率很高;

InnoDB引擎就麻烦了，它执行count(*)的时候，需要把数据一行一行地从引擎里面读出来，然后累积计数。

优化思路:自己计数。

count的几种用法

count()是一个聚合函数，对于返回的结果集，一行行地判断，如果count函数的参数不是NUL，累计值就加1，否则不加，最后返回累计值。

用法:count (*) 、count（主键)、count（字段)、count ( 1)

count(主键)

InnoDB引擎会遍历整张表，把每一行的主键id值都取出来，返回给服务层。服务层拿到主键后，直接按行进行累加(主键不可能为null)。

count(字段)

没有not null约束: InnoDB引擎会遍历整张表把每一行的字段值都取出来，返回给服务层，服务层判断是否为null，不为null，计数累加。

有not null约束: InnoDB引擎会遍历整张表把每一行的字段值都取出来，返回给服务层，直接按行进行累加。

count (1)

InnoDB引擎遍历整张表，但不取值。服务层对于返回的每一行，放一个数字“1”进去直接按行进行累加。

count (*)

InnoDB引擎并不会把全部字段取出来，而是专门做了优化，不取值，服务层直接按行进行累加。

按照效率排序的话，count(字段)<count(主键id)<count(1) ≈ count()，所以尽量使用count()

update优化

update student set no ='2000100100'where id = 1;

update student set no = '2000100105'where name='韦一笑';

InnoDB的行锁是针对索引加的锁，不是针对记录加的锁,并且该索引不能失效,否则会从行锁升级为表锁。

视图

介绍

视图（View）是一种虚拟存在的表。视图中的数据并不在数据库中实际存在，行和列数据来自定义视图的查询中使用的表，并且是在使用视图时动态生成的。

通俗的讲，视图只保存了查询的SQL逻辑，不保存查询结果。所以我们在创建视图的时候，主要的工作就落在创建这条SQL查询语句上。

操作

创建

CREATE[OR REPLACE] VIEW 视图名称[(列名列表)]AS SELECT语句「WITH [CASCADED | LOCAL] CHECK OPTION]

查询

#查看创建视图语句:
SHOW CREATE VIEW 视图名称;
#查看视图数据:
SELECT*FROM 视图名称.....;

修改

方式一:CREATE [OR REPLACE] VEW 视图名称[(列名列表)]AS SELECT语句[WITH[CASCADED | LOCAL] CHECK OPTION]
方式二:ALTER VEW视图名称[(列名列表)]AS SELECT语句[WITH[CASCADED | LOCAL] CHECK OPTION]

删除

DROP VIEW [IF EXISTS]视图名称[视图名称]...

eg.

-- 创建视图
create or replace view stu_v_1 as select id ,name from student where id <= 10;
-- 查询视图
show create view stu_v _1;
select * from stu_v_1;
select * from stu_v_1 where id < 3;
-- 修改视图
create or replace view stu_v_1 as select id , name , no from student where id <= 10;
alter view stu_v_1 as select id , name from student where id <= 10;
-- 删除视图
drop view if exists stu_v_1;

视图的检查选项

当使用WTH CHECK OPTION子句创建视图时，MySQL会通过视图检查正在更改的每个行，例如插入，更新，删除，以使其符合视图的定义。MySQL允许基于另一个视图创建视图，它还会检查依赖视图中的规则以保持一致性。为了确定检查的范围，mysql提供了两个选项:CASCADED和LOCAL，默认值为CASCADED。

CASCADED:

-- cascaded
create or replace view stu_v_1 as select id , name from student where id <= 20;
insert into stu_v_1 values(5,'Tom');
insert into stu_v_1 values(25, 'Tom');

create or replace view stu_v_2 as select id ,name from stu_v_1 where id >= 10 with cascaded check option;
insert into stu_v_2 values(7,'Tom');
insert into stu_v_2 values(26,'Tom');
insert into stu_v_2 values(15,'Tom');

create or replace view stu_v_3 as select id , name from stu_v_2 where id <= 15;
insert into stu_v_3 values(11,'Tom');
insert into stu_v_3 values(17,'Tom');
insert into stu_v_3 values(28,'Tom');

LOCAL:

-- local
create or replace view stu_v_4 as select id ,name from student where id <= 15;
insert into stu_v_2 values(13,'Tom');
insert into stu_v_2 values(17,'Tom');

create or replace view stu_v_6 as select id , name from stu_v_5 where id < 20 ;
insert into stu_v_2 values(13,'Tom');
insert into stu_v_2 values(17,'Tom');

create or replace view stu_v_6 as select id , name from stu_v_5 where id < 20;
insert into stu_v_3 values(14,'Tom');

视图的更新

要使视图可更新，视图中的行与基础表中的行之间必须存在一对一的关系。如果视图包含以下任何一项，则该视图不可更新:

1.聚合函数或窗口函数（SUM()、MIN()、MAX()、COUNT()等)

2.DISTINCT

3.GROUP BY

4.HAVING

5.UNION或者UNION ALL

-- 创建视图，使用聚合函数
create view stu_v_count as select count(*) from student;
insert into stu_v_count values(10);

作用

简单

视图不仅可以简化用户对数据的理解，也可以简化他们的操作。那些被经常使用的查询可以被定义为视图，从而使得用户不必为以后的操作每次指定全部的条件。

安全

数据库可以授权，但不能授权到数据库特定行和特定的列上。通过视图用户只能查询和修改他们所能见到的数据。

数据独立

视图可帮助用户屏蔽真实表结构变化带来的影响。