IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> mysql相关知识 -> 正文阅读

[大数据]mysql相关知识

mysql
执行计划:
在这里插入图片描述
id
select_type 查询的类型
table 表名
partitions 是不是分区表
type 查询类型 ALL代表全盘扫描
possible_keys
key 到底有没有索引
key_len 索引的长度
ref 引用是啥
rows 行数
filtered 过滤的东西
Extra 额外的信息

优化级别:越在前的越好

system–>const–>eq_ref->ref–fulltext–>ref_or_null–>index_merage–>unique_subquery–>index_subquery–>range–>index–>All

索引
用途:提高查询效率
索引和实际的数据都是存储在磁盘的,只不过在进行数据读取的时候会优先把索引加载到内存中

聚簇索引和非聚簇索引

聚簇索引非聚簇索引
数据跟索引存储在一起的叫聚簇索引没有存储在一起的叫非聚簇索引

innodb存储引擎在进行数据插入的时候,数据必须跟某一个索引列存储在一起,这个索引可以没有主键,如果没有主键,选择唯一键,如果没有唯一键选择6字节的rowid来进行存储

数据必定是跟某一个索引绑定在一起的,绑定数据的索引叫聚簇索引。
其他索引的叶子节点中存储的数据不再是整行的记录,而是聚簇索引的id

innodb中既有聚簇索引也有非聚簇索引
myisam中只有非聚簇索引

B树
特点:n-1来插入数据
(节点没有重复)
在这里插入图片描述
B+树
一般情况下3-4层的b+树足以支撑千万级别的数据量存储。
(节点有重复)
在这里插入图片描述
回表
id,name,age,gender
id主键,name普通索引
select * from table where name=‘zhangshan’;
先根据nameB+树匹配到对应的叶子节点,查询到对应记录的id值,在根据id去id的B+树中检索整行记录,这个过程就称之为回表,要尽量避免回表操作
索引覆盖
id,name,age,gender
id主键,name普通索引
select * from table where name=‘zhangshan’;
先根据name的值去nameB+树检索对应的记录能获取到id的属性值,索引的叶子节点中包含了查询的所有列,此时不需要回表,这个过程叫做索引覆盖,using index的提示信息,推荐使用,在某些场景中,可以考虑将要查询的索引列都变成组合索引,此时会使用索引覆盖,加快查询效率
最左匹配
创建索引的时候可以选择多个列来共同组成索引,此时叫做组合索引或者联合索引,要遵循最左匹配原则
id,name,age,gender
id主键,name,age组合索引

select * from table where name=‘zhangshan’ and age =12;会遵循
select * from table where name=‘zhangshan’ ;会遵循匹配了name
select * from table where age =12;不会遵循
select * from table where age =12 and name=‘zhangshan’ ;会遵循 数据库底层会反过来

索引下推
select * from table where name=‘zhangshan’ and age =12;
没有索引下推之前:先根据name从存储引擎中拉取数据到server层,然后在server层中对age进行数据过滤
有索引下推之后:根据name和age俩个条件来做数据筛选,将赛选之后的结构返还给server层
数据库默认是开启索引下推的

sql优化

  1. 查询SQL尽量不要使用select *,而是具体字段,节省资源
  2. 避免在where子句中使用or来连接条件,可能导致索引失效
  3. 使用varchar代替char
  4. 尽量使用数值替代字符串类型
  5. 查询尽量避免返回大量数据
  6. 使用explain分析你SQL执行计划
  7. 索引不宜太多,一般5个以内
  8. 避免在where子句中使用!=或<>操作符

事务
ACID实现原理
隔离级别

读未提交
读已提交
可重复度mysql默认级别
串行话

乐观锁
悲观锁
间隙所
行锁
表锁
记录锁
自增锁
意向锁

MVCC
多版本并发控制———读写效率

基础知识

当点读快照读
读取的数据是最新版本,总是读取最新的数据读取的是历史版本的记录
select…lockshare
select…forupdate属于当前读select…
update
insert

MVCC第一组件隐藏字段
DB_TRX_ID 创建或者最后一次修改记录的事务id
DB_ROW_ID 隐藏主键
DB_ROLL_RTR 回滚指针——undolog
俩个事务同事执行
A事务:select select
B事务:select update
问:A能读到B修改的最新数据?
答:读已提交可以,可重复度不行

name age sex 用户可见 DB_TRX_ID DB_ROW_ID DB_ROLL_RTR 用户不可见

name age sex DB_TRX_ID DB_ROW_ID DB_ROLL_RTR
小王 11 man a事务 当前表的主键 null

MVCC第二组件undolog
回滚日志:存储 DB_ROLL_RTR指针指向的历史记录
总结
当不同的事务对同一条记录做修改的时候,会导致该记录的undolog形成一个线性表,也就是链表,来年表的链首是最新的历史记录,而链尾是最早的历史记录
在这里插入图片描述
MVCC第三组件readvier 读视图
tex_list 活跃是事务id
up_limit_d 列表中最小的id
iow_limit_id 尚未分配的事务id
在这里插入图片描述
也就是说RR隔离级别有了一次快照读的时候在提交一个事务的时候是看不到的

解决方案也就是上文提到的四种隔离级别,他们可以最大程度避免以上三种情况的发生:

未授权读取
也称为读未提交(Read Uncommitted):允许脏读取,但不允许更新丢失。如果一个事务已经开始写数据,则另外一个事务则不允许同时进行写操作,但允许其他事务读此行数据。该隔离级别可以通过“排他写锁”实现。

授权读取
也称为读提交(Read Committed):允许不可重复读取,但不允许脏读取。这可以通过“瞬间共享读锁”和“排他写锁”实现。读取数据的事务允许其他事务继续访问该行数据,但是未提交的写事务将会禁止其他事务访问该行。

可重复读取(Repeatable Read)
可重复读取(Repeatable Read):禁止不可重复读取和脏读取,但是有时可能出现幻读数据。这可以通过“共享读锁”和“排他写锁”实现。读取数据的事务将会禁止写事务(但允许读事务),写事务则禁止任何其他事务。

序列化(Serializable)
序列化(Serializable):提供严格的事务隔离。它要求事务序列化执行,事务只能一个接着一个地执行,不能并发执行。仅仅通过“行级锁”是无法实现事务序列化的,必须通过其他机制保证新插入的数据不会被刚执行查询操作的事务访问到。

隔离级别越高,越能保证数据的完整性和一致性,但是对并发性能的影响也越大。对于多数应用程序,可以优先考虑把数据库系统的隔离级别设为Read Committed。它能够避免脏读取,而且具有较好的并发性能。尽管它会导致不可重复读、幻读和第二类丢失更新这些并发问题,在可能出现这类问题的个别场合,可以由应用程序采用悲观锁或乐观锁来控制。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-02-19 01:14:20  更:2022-02-19 01:15:42 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 11:22:21-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码