| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 一条SQL查询语句是如何执行的? -> 正文阅读 |
|
[大数据]一条SQL查询语句是如何执行的? |
首先是MySQL的基本架构示意图 ?大体来说,MySQL可以分为Server层和存储引擎层两部分 Server层包括连接器、查询缓存、分析器、优化器’执行器等,涵盖了M有SQL的大多数核心服务功能,以及所有的内置函数(如日期、时间、数学和加密函数等),所有的跨存储引擎的功能都在这这一层实现,比如存储过程、触发器、视图等; 而存储引擎负责数据的存储和提取。其架构模式是插件式的,支持InnoDB、MyISAM、Memory等多个存储引擎,现在最常用的存储引擎是InnoDB,它从MySQL5.5.5版本开始成为默认从存储引擎。 也就是说,你执行create table 建表的时候,如果不指定引擎类型,默认使用的就是InnoDB。不过也可以通过指定存储引擎的类型来选择别的引擎,比如在create table 语句中使用engine=memory,来指定使用内存引擎创建表。不同存储引擎的表数据存取方式不同,支持的功能也不同; 从图中不难看出,不同的存储引擎共用一个Server层、也就是从连接器到执行器的部分。 你可以先对每个组件的名字有个印象,接下来我会以开头的那条SQL语句,带你走一遍整个流程,一次看下每个组件的作用。 连接器 第一步,你会先连接到这个数据库上,这时候接待你的就是连接器。连接器负责跟客户端建立链接、获取权限、维持和管理链接。链接命令一般是这么写的: mysql -h$ip -p$post -u$user -p 输入完命令之后,你就需要在交互对话框里面输入密码。虽然密码也可以直接跟在-p后面写在命令行中,但是这样可能会导致你的密码泄漏。如果你连接的生产服务器,强烈建议你不要这么做。 连接命令中mysql是客户端工具,用来跟服务器建立连接。在完成经典的TCP握手连接后,连接器就要开始认证你的身份,这个时候用的就是你输入的用户名密码。 如果用户名或者密码不对,你就会收到一个“Access denied for user”的错误,然后客户端程序执行结束。 如果用户名密码认证通过,连接器会到权限表里面查出你拥有的权限。之后,这个连接里边的权限判断逻辑,都将依赖于此时读到的权限。 这就意味着,一个用户成功建立连接后,即使你用管理员账号对这个用户的权限做了修改,也不会影响已经存在连接的权限,修改完成后,只有新建的链接才会使用新的权限设置。 连接完成后,如果你没有后的动作,这个链接就处于空闲状态,你可以在show parocesslist命令中看到它,文本中的这个图是show processlist的结果,其中的command 列显示"Sleep" 的这一行,就表示现在系统里面有个空闲的链接。 ?客户端如果太长时间没有动静,连接器就会自动将他断开。这个时间是由参数wait_timeout控制的,默认值是8小时。 如果在连接被断开之后,客户端再次发送请求的话,就会收到一个错误提醒:Lost connection to MysqlSERVER DURING query 这时候如果你要继续,就需要重新连接,然后在执行请求了 数据库里面,长连接是指连接成功后,如果客户端持续有请求,则一直使用同一个连接, 短链接则是指灭此链接执行很少的几次查询就断开连接,下次连接在重新查询建立一个连接,也就是尽量使用长链接 但是全部使用长连接后,你可能会发现,有些时候MySQL占用内存涨得特别快,这是因为MySQL在执行过程中临时使用内存是管理在对象里面的,这些资源是会链接断开时释放,所以如果长连接累计下来,可能导致内存占用太大,被系统强行杀掉(OOM)从现象看就是MySQL异常重启了 怎么解决这个问题呢?你可以考虑一下两种方案 1、定期断开长连接,使用一段时间,或者程序里面判断执行过一个占用内存的大查询后,断开连接,之后要查询在重连。 2、如果你用的是MySQL5.7或更新版本,可以在每次执行一个比较大的操作后,通过执行mysql_reset_sonnection来重新初始化连接资源。这个过程需要重连和重新权限验证,但是会将连接恢复到刚刚创建完的状态 ? 查询缓存 连接建立完成后,你就可以执行select语句了,执行逻辑第二部:查询缓存,MySQL拿到一个查询请求,会先到查询缓存看看,之前是不是执行过这条语句,之前执行过的语句及其结果可能会以key-value对的形式,被直接缓存在内存重,key是查询的语句,value是查询结果,如果你的查询能直接在这个缓存重找到这个key,那么这个value就会直接返回给客户端 如果语句不在缓存中,就会继续后面执行接端,执行完成后,执行结果会被存入到查询缓存中,你可以看到,如果查询命中缓存,MySQL不虚要执行后边的复杂操作,就可以直接返回结果,这个效率会很高。 但是大多数情况下我会建议你不要使用查询缓存,为什么呢,因为查询缓存往往弊端大于利 查询缓存的失效非常频繁只要有对一个表的更新,这个表上的所以有查询缓存都会被清空,因此你可能费劲的把结果存起来,还没等到使用呢,就被一个更新清空了,对于更新压力大的数据库俩说,查询缓存命中率会非常低,付费你的业务就是有一张静态表,很长时间才会跟一次,比如,一个系统配置表,那这张表上查询才是使用查询缓存。 好在MySQL也提供这种“按需使用”的方式。你可以将参数querycache_type设置成DEMAND,这样对于默认的SQL语句都不适用查询缓存。而对于你确定要使用查询缓存的语句,可以使用SQL_CACHE显示指定,想下面这个语句一样: mysql> select SQL_CACHE * from T where ID =10; 需要注意的是,MySQL8.0版本直接将查询缓存的整块功能给删除了,也就是说从8.0直接就没有这个功能了 分析器 如果没有命中缓存,就是开始真正执行语句了,首先,MySQL需要知道你要做什么,因此需要对SQL语句进行解析 分析此会先做“词法分析” 你输入的是由多个字符串和空格组成的条SQL语句,MySQL需要识别出里面的字符串分别代表什么,分别是什么 MySQL从你输入“select” 这个关键字识别出来,这个一个查询语句,他也要把字符串“T”识别成“表名T”把字符串“ID”识别成“列ID” 做完了这些识别以后,就要做此法分析”语法分析“根据此法分析的结果,语法分析器就会根据语法规则,判断你属于的这个SQL语句是否满足MySQL语法 如果你的语句不对,就会收到”You hace an error in your SQL syntax“的错误提醒,比如下面这个而语句select 少打了开头字母s musql> elect * from? t? where ID=1 ERROR 1064(42000): YOU have error in yourSQL SYNTAX ; Check the manual that corresp 优化器 经过分析器,mySQL就知道要做什么了,在开始执行之前,还有先经过优化器的处理,优化器是在表里面有多个索引的时候,决定使用那个索引;或者在一个语句关联多表关联(join)的时候,决定各个表连接顺序,不如你执行下面这样的语句,这个语句是执行两个表join:? mysql> select * from ti1 join t2 using(ID) where t1.c=10 and t2.d=20; 既可以先从表T1里边驱逐c=10的记录的值,再根据ID值关联到表t2 在判断d的值是否等于20 也可以先从表t2里边取出d=20的记录的ID值,再根据ID值关联到t1,在判断t1里面的c值是否等于10 这两种执行方法逻辑结果是一样的,但是执行效率会有不同,而优化器的作用就是决定使用哪一种方案。 优化器接完成后,这个语句的执行方案就确定下来了,然后进入执行器接端,如果你还有一些疑问,比如优化器怎么选择索引的,有没有可能选择错等等, 执行器 MySQL通过分析器知道你要做什么,通过用花旗知道你该怎么做,于是就进入了执行器的接端,开始执行语句; 开始执行的时候,要先判断一下你对这个表T有没有执行查询的权限,如果没有,就会返回没有权限的错误,如下图所示(在工程实现上,入如果没有查询缓存,会在查询缓存返回结果的时候,做权限验证,查询也会在优化器之前调用Precheck验证权限) mysql>select * from T where ID=10 error 1142(42000):SELECT COMMAND DENIDED TO USER 'b'@ 'kicakgist' for table 't' 如果有权限,就继续打开表执行,打开表的时候,执行器就会根据表的引擎定义,去使用这个引擎提供的接口。 比如我们这个例子中的表T中,ID字段没有索引,那么致星期的执行流程是这样的: 1.调用InnoDB引擎接口去这个表的第一行,判断ID值是不是10,如果不是则跳过,如果是则将这行存储在结果集中, 2、调用引擎接口去”下一行“重复相同的判断你逻辑,直到取到这个表的最后一行, 3、执行器将上述过程中遍历过程中满足条件组成记录作为结果集返回给客户端 至此这个语句就执行结束了 对于有索引的表,执行的逻辑也差不多,第一次调用的是”去满足条件的第一行“这个接扣,之后循环去”满足条件的下一行“这个接口,这些接口都是引擎中定义好的, 你会在数据库的慢查询日志中看到一个row_examined的字段,表示这个语句执行过程中扫描了多少行,这个值就是在执行器每次调用引擎获取数据行的时候累加的 在有些场景下,致星期调用一次,在引擎内部扫描了好多行,因此引擎扫描的行数跟rows_examined并不是完全相同的。 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 8:01:20- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |