| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> MySQL高级篇知识点——数据库其它调优策略 -> 正文阅读 |
|
[大数据]MySQL高级篇知识点——数据库其它调优策略 |
1.数据库调优的措施1.1.调优的目标(1)尽可能节省系统资源,以便系统可以提供更大负荷的服务。(吞吐量更大) 1.2.如何定位调优问题?(1)不过随着用户量的不断增加,以及应用程序复杂度的提升,我们很难用“更快”去定义数据库调优的目标,因为用户在不同时间段访问服务器遇到的瓶颈不同,比如双十一促销的时候会带来大规模的并发访问;还有用户在进行不同业务操作的时候,数据库的事务处理和 SQL 查询都会有所不同。因此我们还需要更加精细的定位,去确定调优的目标。 (2)如何确定呢?一般情况下,有如下几种方式: ② 日志分析(主要) ③ 服务器资源使用监控 ④ 数据库内部状况监控 ⑤ 其它 1.3.调优的维度和步骤我们需要调优的对象是整个数据库管理系统,它不仅包括 SQL 查询,还包括数据库的部署配置、架构等。从这个角度来说,我们思考的维度就不仅仅局限在 SQL 优化上了。通过如下的步骤我们进行梳理: 第 1 步:选择适合的 DBMS(1)如果对事务性处理以及安全性要求高的话,可以选择商业的数据库产品。这些数据库在事务处理和查询性能上都比较强,比如采用 SQL Server、Oracle,那么单表存储上亿条数据是没有问题的。如果数据表设计得好,即使不采用分库分表的方式,查询效率也不差。 (2)除此以外,你也可以采用开源的 MySQL 进行存储,它有很多存储引擎可以选择,如果进行事务处理的话可以选择 lnnoDB,非事务处理可以选择 MylSAM。 (3)NoSQL 阵营包括键值型数据库、文档型数据库、搜索引擎、列式存储和图形数据库。这些数据库的优缺点和使用场景各有不同,比如列式存储数据库可以大幅度降低系统的 I/O,适合于分布式文件系统,但如果数据需要频繁地增删改,那么列式存储就不太适用了。 (4)DBMS 的选择关系到了后面的整个设计过程,所以第一步就是要选择适合的 DBMS。如果已经确定好了 DBMS,那么这步可以跳过。 第 2 步:优化表设计(1)选择了 DBMS 之后,我们就需要进行表设计了。而数据表的设计方式也直接影响了后续的 SQL 查询语句。RDBMS 中,每个对象都可以定义为一张表,表与表之间的关系代表了对象之间的关系。如果用的是 MySQL,我们还可以根据不同表的使用需求,选择不同的存储引擎。除此以外,还有一些优化的原则可以参考: ② 如果查询应用比较多,尤其是需要进行多表联查的时候,可以采用反范式进行优化。反范式采用空间换时间的方式,通过增加冗余字段提高查询的效率。 ③ 表字段的数据类型选择,关系到了查询效率的高低以及存储空间的大小。一般来说,如果字段可以采用数值类型就不要采用字符类型;字符长度要尽可能设计得短一些。针对字符类型来说,当确定字符长度固定时,就可以采用 CHAR 类型;当长度不固定时,通常采用VARCHAR 类型。 (2)数据表的结构设计很基础,也很关键。好的表结构可以在业务发展和用户量增加的情况下依然发挥作用,不好的表结构设计会让数据表变得非常臃肿,查询效率也会降低。 第 3 步:优化逻辑查询(1)当我们建立好数据表之后,就可以对数据表进行增删改查的操作了。这时我们首先需要考虑的是逻辑查询优化。 (2)SQL 查询优化,可以分为逻辑查询优化和物理查询优化。逻辑查询优化就是通过改变 SQL 语句的内容让 SQL 执行效率更高效,采用的方式是对 SQL 语句进行等价变换,对查询进行重写。 (3)SQL 的查询重写包括了子查询优化、等价谓词重写、视图重写、条件简化、连接消除和嵌套连接消除等。比如我们在讲解 EXISTS 子查询和 IN 子查询的时候,会根据小表驱动大表的原则选择适合的子查询。在 WHERE 子句中会尽量避免对字段进行函数运算,它们会让字段的索引失效。 (4)举例:查询评论内容开头为 “abc” 的内容都有哪些,如果在 WHERE 子句中使用了函数,语句就会写成下面这样:
采用查询重写的方式进行等价替换:
第 4 步:优化物理查询(1)物理查询优化是在确定了逻辑查询优化之后,采用物理优化技术(比如索引等),通过计算代价模型对各种可能的访问路径进行估算,从而找到执行方式中代价最小的作为执行计划。在这个部分中,我们需要掌握的重点是对索引的创建和使用。 (2)但索引不是万能的,我们需要根据实际情况来创建索引。那么都有哪些情况需要考虑呢?我们在前面几章中已经进行了细致的剖析。SQL 查询时需要对不同的数据表进行查询,因此在物理查询优化阶段也需要确定这些查询所采用的路径,具体的情况包括: 第 5 步:使用 Redis 或 Memcached 作为缓存(1)除了可以对 SQL 本身进行优化以外,我们还可以请外援提升查询的效率。因为数据都是存放到数据库中,我们需要从数据库层中取出数据放到内存中进行业务逻辑的操作,当用户量增大的时候,如果频繁地进行数据查询,会消耗数据库的很多资源。如果我们将常用的数据直接放到内存中,就会大幅提升查询的效率。键值存储数据库可以帮我们解决这个问题。 (2)常用的键值存储数据库有 Redis 和 Memcached,它们都可以将数据存放到内存中。 (3)从可靠性来说,Redis 支持持久化,可以让我们的数据保存在硬盘上,不过这样一来性能消耗也会比较大。而 Memcached 仅仅是内存存储,不支持持久化。从支持的数据类型来说,Redis 比 Memcached 要多,它不仅支持 key-value 类型的数据,还支持 List、Set、Hash 等数据结构。当我们有持久化需求或者是更高级的数据处理需求的时候,就可以使用 Redis。如果是简单的 key-value 存储,则可以使用 Memcached。 (4)通常我们对于查询响应要求高的场景(响应时间短,吞吐量大),可以考虑内存数据库,毕竟术业有专攻。传统的 RDBMS 都是将数据存储在硬盘上,而内存数据库则存放在内存中,查询起来要快得多。不过使用不同的工具,也增加了开发人员的使用成本。 第 6 步:库级优化库级优化是站在数据库的维度上进行的优化策略,比如控制一个库中的数据表数量。另外,单一的数据库总会遇到各种限制,不如取长补短,利用"外援"的方式。通过主从架构优化我们的读写策略,通过对数据库进行垂直或者水平切分,突破单—数据库或数据表的访问限制,提升查询的性能。 (1)读写分离 (2)数据分片
2.优化 MySQL 服务器优化 MySQL 服务器主要从两个方面来优化,一方面是对硬件进行优化;另一方面是对 MySQL 服务的参数进行优化。这部分的内容需要较全面的知识,一般只有专业的数据库管理员才能进行这一类的优化。对于可以定制参数的操作系统,也可以针对 MySQL 进行操作系统优化。 2.1.优化服务器硬件服务器的硬件性能直接决定着 MySQL 数据库的性能。硬件的性能瓶颈直接决定 MySQL 数据库的运行速度和效率。针对性能瓶颈提高硬件配置,可以提高 MySQL 数据库查询、更新的速度。 (1) 配置较大的内存 (2) 配置高速磁盘系统 (3) 合理分布磁盘 I/O (4) 配置多处理器 2.2.优化 MySQL 的参数2.2.1.参数设置通过优化 MySQL 的参数可以提高资源利用率,从而达到提高 MySQL 服务器性能的目的。MySQL 服务的配置参数都在 my.cnf 或者my.ini 文件的 [mysqld] 组中。配置完参数以后,需要重新启动 MySQL 服务才会生效。下面对几个对性能影响比较大的参数进行详细介绍。 (2)key_buffer_size:表示索引缓冲区的大小。索引缓冲区是所有的线程共享 。增加索引缓冲区可以得到更好处理的索引(对所有读和多重写)。当然,这个值不是越大越好,它的大小取决于内存的大小。如果这个值太大,就会导致操作系统频繁换页,也会降低系统性能。对于内存在 4GB 左右的服务器该参数可设置为 256M 或 384M 。 (3)table_cache:表示同时打开的表的个数。这个值越大,能够同时打开的表的个数越多。物理内存越大,设置就越大。默认为 2402,调到 512 - 1024 最佳。这个值不是越大越好,因为同时打开的表太多会影响操作系统的性能。 (4)query_cache_size:表示查询缓冲区的大小。可以通过在 MySQL 控制台观察,如果 Qcache_lowmem_prunes 的值非常大,则表明经常出现缓冲不够的情况,就要增加 Query_cache_size 的值;如果 Qcache_hits 的值非常大,则表明查询缓冲使用非常频繁,如果该值较小反而会影响效率,那么可以考虑不用查询缓存;对于 Qcache_free_blocks,如果该值非常大,则表明缓冲区中碎片很多。MySQL 8.0 之后失效。该参数需要和 query_cache_type 配合使用。 (5)query_cache_type:当其值是 0 时,所有的查询都不使用查询缓存区。但是 query_cache_type = 0 并不会导致 MySQL 释放 query_cache_size 所配置的缓存区内存。 (6)sort_buffer_size:表示每个需要进行排序的线程分配的缓冲区的大小。增加这个参数的值可以 (7)join_buffer_size = 8M:表示联合查询操作所能使用的缓冲区大小,和 sort_buffer_size一样,该参数对应的分配内存也是每个连接独享。 (8)read_buffer_size:表示每个线程连续扫描时为扫描的每个表分配的缓冲区的大小,单位是字节。当线程从表中连续读取记录时需要用到这个缓冲区。SET SESSION read_buffer_size = n 可以临时设置该参数的值。默认为 64K,可以设置为 4M。 (9)innodb_flush_log_at_trx_commit:表示何时将缓冲区的数据写入日志文件,并且将日志文件写入磁盘中。该参数对于 InnoDB 引擎非常重要。该参数有 3 个值,分别为 0、1 和 2。该参数的默认值为 1。 (10)innodb_log_buffer_size:这是 InnoDB 存储引擎的事务日志所使用的缓冲区。为了提高性能,也是先将信息写入 Innodb Log Buffer 中,当满足 innodb_flush_log_trx_commit 参数所设置的相应条件(或者日志缓冲区写满)之后,才会将日志写到文件(或者同步到磁盘)中。 (11)max_connections:表示允许连接到 MySQL 数据库的最大数量,默认值是 151 。如果状态变量 connection_errors_max_connections 不为零,并且一直增长,则说明不断有连接请求因数据库连接数已达到允许最大值而失败,这是可以考虑增大 max_connections 的值。在Linux 平台下,性能好的服务器,支持 500 - 1000 个连接不是难事,需要根据服务器性能进行评估设定。这个连接数不是越大越好 ,因为这些连接会浪费内存的资源。过多的连接可能会导致 MySQL 服务器僵死。 (12)back_log:用于控制 MySQL 监听 TCP 端口时设置的积压请求栈大小。如果 MySQL 的连接数达到 max_connections 时,新来的请求将会被存在堆栈中,以等待某一连接释放资源,该堆栈的数量即 back_log,如果等待连接的数量超过back_log,将不被授予连接资源,将会报错。MySQL 5.6.6 版本之前默认值为 50,之后的版本默认为 50 + (max_connections / 5), 对于Linux 系统推荐设置为小于 512 的整数,但最大不超过 900。如果需要数据库在较短的时间内处理大量连接请求, 可以考虑适当增 back_log 的值。 (13)thread_cache_size: 线程池缓存线程数量的大小,当客户端断开连接后将当前线程缓存起来,当在接到新的连接请求时快速响应无需创建新的线程 。这尤其对那些使用短连接的应用程序来说可以极大的提高创建连接的效率。那么为了提高性能可以增大该参数的值。默认为 60,可以设置为 120。可以通过如下几个 MySQL 状态值来适当调整线程池的大小:
当 Threads_cached 越来越少,但 Threads_connected 始终不降,且 Threads_created 持续升高,可适当增加 thread_cache_size 的大小。 (14)wait_timeout:指定一个请求的最大连接时间,对于 4GB 左右内存的服务器可以设置为 5 - 10。 (15)interactive_timeout:表示服务器在关闭连接前等待行动的秒数。 这里给出一份 my.cnf 的参考配置(但是很多情况还需要具体情况具体分析!):
2.2.2.案例分析(1)下面是一个电商平台,类似京东或天猫这样的平台。商家购买服务,入住平台,开通之后,商家可以在系统中上架各种商品,客户通过手机 App、微信小程序等渠道购买商品,商家接到订单以后安排快递送货。 (2)刚刚上线的时候,系统运行状态良好。但是,随着入住的商家不断增多,使用系统的用户量越来越多,每天的订单数据达到了5万条以上。这个时候,系统开始出现问题,CPU 使用率不断飙升。终于,双十一或者 618 活动高峰的时候,CPU 使用率达到 99%,这实际上就意味着,系统的计算资源已经耗尽,再也无法处理任何新的订单了。换句话说,系统已经崩溃了。 (3)这个时候,我们想到了对系统参数进行调整,因为参数的值决定了资源配置的方式和投放的程度。为了解决这个问题,一共调整 3 个系统参数,分别是:lnnoDB_flush_log_at_trx_commit、lnnoDB_buffer_pool_size、lnnoDB_buffer_pool_instances。 (4)下面我们就说一说调整这三个参数的原因是什么。 ② 调整系统参数 lnnoDB_buffer_pool_size ③ 调整系统参数 lnnoDB_buffer_pool_instances
3.优化数据库结构一个好的数据库设计方案对于数据库的性能常常会起到事半功倍的效果。合理的数据库结构不仅可以使数据库占用更小的磁盘空间,而且能够使查询速度更快。数据库结构的设计需要考虑数据冗余、查询和更新的速度、字段的数据类型是否合理等多方面的内容。 3.1.拆分表:冷热数据分离(1)拆分表的思路是,把 1 个包含很多字段的表拆分成 2 个或者多个相对较小的表。这样做的原因是,这些表中某些字段的操作频率很高(热数据),经常要进行查询或者更新操作,而另外一些字段的使用频率却很低(冷数据),冷热数据分离,可以减小表的宽度。如果放在一个表里面,每次查询都要读取大记录,会消耗较多的资源。 (2)MySQL 限制每个表最多存储 4096 列,并且每一行数据的大小不能超过 65535 字节。表越宽,把表装载进内存缓冲池时所占用的内存也就越大,也会消耗更多的 I/O。冷热数据分离的目的是:① 减少磁盘 l/O,保证热数据的内存缓存命中率。② 更有效的利用缓存,避免读入无用的冷数据。 (3)举例 ② 创建这两个表的SQL语句如下:
③ 如果需要查询会员的基本信息或详细信息,那么可以用会员的 id 来查询。如果需要将会员的基本信息和详细信息同时显示,那么可以将members 表和 members_detail 表进行联合查询,查询语句如下:
④ 通过这种分解可以提高表的查询效率。对于字段很多且有些字段使用不频繁的表,可以通过这种分解的方式来优化数据库的性能。 3.2.增加中间表(1)对于需要经常联合查询的表,可以建立中间表以提高查询效率。通过建立中间表,把需要经常联合查询的数据插入中间表中,然后将原来的联合查询改为对中间表的查询,以此来提高查询效率。 (2)首先,分析经常联合查询表中的字段;然后,使用这些字段建立一个中间表,并将原来联合查询的表的数据插入中间表中;最后,使用中间表来进行查询。 (3)举例
② 现在有一个模块需要经常查询带有学生名称 (name)、学生所在班级名称 (className)、学生班级班长 (monitor) 的学生信息。根据这种情况可以创建一个 temp_student 表。temp_student 表中存储学生名称 (stu_name)、学生所在班级名称 (className) 和学生班级班长(monitor) 信息。创建表的语句如下:
③ 接下来,从学生信息表和班级表中查询相关信息存储到临时表中:
以后,可以直接从 temp_student 表中查询学生名称、班级名称和班级班长,而不用每次都进行联合查询。这样可以提高数据库的查询速度。
3.3.增加冗余字段(1)设计数据库表时应尽量遵循范式理论的规约,尽可能减少冗余字段,让数据库设计看起来精致、优雅。但是,合理地加入冗余字段可以提高查询速度。表的规范化程度越高,表与表之间的关系就越多,需要连接查询的情况也就越多。尤其在数据量大,而且需要频繁进行连接的时候,为了提升效率,我们也可以考虑增加冗余字段来减少连接。 (2)这部分内容在MySQL高级篇知识点——数据库的设计规范这篇文章的第 3 节已经具体讲解过,此处就不再赘述了。 3.4.优化数据类型(1)改进表的设计时,可以考虑优化字段的数据类型。这个问题在大家刚从事开发时基本不算是问题。但是,随着你的经验越来越丰富,参与的项目越来越大,数据量也越来越多的时候,你就不能只从系统稳定性的角度来思考问题了,还要考虑到系统整体的稳定性和效率。此时,优先选择符合存储需要的最小的数据类型。 (2)列的字段越大,建立索引时所需要的空间也就越大,这样一页中所能存储的索引节点的数量也就越少,在遍历时所需要的 I/O 次数也就越多,索引的性能也就越差。具体来说: ② 情况 2:既可以使用文本类型也可以使用整数类型的字段,要选择使用整数类型 ③ 情况 3:避免使用 TEXT、BLOB 数据类型 ④ 情况 4:避免使用 ENUM 类型 ⑤ 情况 5:使用 TIMESTAMP 存储时间 ⑥ 情况 6:用 DECIMAL 代替 FLOAT 和 DOUBLE 存储精确浮点数 总之,遇到数据量大的项目时,一定要在充分了解业务需求的前提下,合理优化数据类型,这样才能充分发挥资源的效率,使系统达到最优。 3.5.优化插入记录的速度插入记录时,影响插入速度的主要是索引、唯一性校验、一次插入记录条数等。根据这些情况可以分别进行优化。这里我们分为 MylSAM 引擎和 InnoDB 存储引擎来讲。 3.5.1.MyISAM 引擎的表(1)禁用索引
重新开启索引的语句如下:
若对于空表批量导入数据,则不需要进行此操作,因为 MyISAM 引擎的表是在导入数据之后才建立索引的。 (2)禁用唯一性检查
开启唯─性检查的语句如下:
(3)使用批量插入
使用一条 INSERT 语句插入多条记录的情形如下:
第 2 种情形的插入速度要比第 1 种情形快。 (4)使用 LOAD DATA INFILE 批量导入 3.5.2.InnoDB 引擎的表(1)禁用唯一性检查 (2)禁用外键检查
灰复对外键的检查语句如下:
(3)禁止自动提交
恢复自动提交的语句如下:
3.6.使用非空约束在设计字段的时候,如果业务允许,建议尽量使用非空约束。这样做的好处是: 3.7.分析表、检查表与优化表MySQL 提供了分析表、检查表和优化表的语句。分析表主要是分析关键字的分布,检查表主要是检查表是否存在错误,优化表主要是消除删除或者更新造成的空间浪费。 3.7.1.分析表(1)MySQL 中提供了 ANALYZE TABLE 语句分析表,ANALYZE TABLE 语句的基本语法如下:
默认的,MySQL 服务会将 ANALYZE TABLE 语句写到 binlog 中,以便在主从架构中,从服务能够同步数据。可以添加参数 LOCAL 或者 NO_WRITE_TO_BINLOG 取消将语句写到 binlog 中。 (2)使用 ANALYZE TABLE 分析表的过程中,数据库系统会自动对表加一个只读锁。在分析期间,只能读取表中的记录,不能更新和插入记录。ANALYZE TABLE 语句能够分析 InnoDB 和 MyISAM 类型的表,但是不能作用于视图。 (3)ANALYZE TABLE 分析后的统计结果会反应到 cardinality 的值,该值统计了表中某一键所在的列不重复的值的个数。该值越接近表中的总行数,则在表连接查询或者索引查询时,就越优先被优化器选择使用。也就是索引列的 cardinality 的值与表中数据的总条数差距越大,即使查询的时候使用了该索引作为查询条件,存储引擎实际查询的时候使用的概率就越小。下面通过例子来验证下。cardinality 可以通过 SHOW INDEX FROM 表名查看。 (4)下面我们举例说明。
② 此时查看 user1 表上的索引。
③ 接下来,我们进行如下操作:
此时根据上图可知,索引 idx_name 的 Cardinality 值变为 2 了,其原因在于我们刚才更新了 id = 3 的记录的 name 字段,所以此时 name 字段中有 999 个 “atguigu” 和 1 个 “atguigu03”,即 Cardinality 值为 2。 3.7.2.检查表(1)MySQL 中可以使用 CHECK TABLE 语句来检查表。CHECK TABLE 语句能够检查 InnoDB 和 MyISAM 类型的表是否存在错误。CHECK TABLE 语句在执行过程中也会给表加上只读锁。 (2)对于 MyISAM 类型的表,CHECK TABLE 语句还会更新关键字统计数据。而且,CHECK TABLE 也可以检查视图是否有错误,比如在视图定义中被引用的表已不存在。该语句的基本语法如下:
其中,tbl_name 是表名;option 参数有5个取值,分别是 QUICK、FAST、MEDIUM、EXTENDED 和 CHANGED。各个选项的意义分别是:
(3)option 只对 MyISAM 类型的表有效,对 InnoDB 类型的表无效。比如: 该语句对于检查的表可能会产生多行信息。最后一行有一个状态的 Msg_type 值,Msg_text 通常为 OK。如果得到的不是 OK,通常要对其进行修复;是 OK 说明表已经是最新的了。表已经是最新的,意味着存储引擎对这张表不必进行检查。 3.7.3.优化表3.7.3.1.方式1:OPTIMIZE TABLE(1)MySQL中使用 OPTIMIZE TABLE 语句来优化表。但是,OPTILMIZE TABLE 语句只能优化表中的 VARCHAR、BLOB 或 TEXT 类型的字段。一个表使用了这些字段的数据类型,若已经删除了表的一大部分数据,或者已经对含有可变长度行的表(含有 VARCHAR、BLOB 或TEXT 列的表)进行了很多更新 ,则应使用 OPTIMIZE TABLE 来重新利用未使用的空间,并整理数据文件的碎片。 (2)OPTIMIZE TABLE 语句对 InnoDB 和 MyISAM 类型的表都有效。该语句在执行过程中也会给表加上只读锁。 OPTILMIZE TABLE 语句的基本语法如下:
LOCAL | NO_WRITE_TO_BINLOG 关键字的意义和分析表相同,都是指定不写入二进制日志。 (3)执行完毕,上图中的 Msg_text 显示:
原因是服务器上的 MySQL 是 InnoDB 存储引擎。到底优化了没有呢?看官网https://dev.mysql.com/doc/refman/8.0/en/optimize-table.html! 在 MyISAM 中,是先分析这张表,然后会整理相关的 MySQL datafile,之后回收未使用的空间;在 InnoDB 中,回收空间是简单通过 Alter table 进行整理空间。在优化期间,MySQL 会创建一个临时表,优化完成之后会删除原始表,然后会将临时表 rename 成为原始表。
(4)举例 优化前: 优化后: 3.7.3.2.方式2:使用 mysqlcheck 命令(1)mysqlcheck 命令格式如下
mysqlcheck 是 Linux中的 rompt,-o 是代表 Optimize。 (2)举例:优化所有的表
3.8.小结上述这些方法都是有利有弊的。比如: 4.大表优化当 MySQL 单表记录数过大时,数据库的 CRUD 性能会明显下降,一些常见的优化措施如下: 4.1.限定查询的范围禁止不带任何限制数据范围条件的查询语句。比如:我们当用户在查询订单历史的时候,我们可以控制在一个月的范围内。 4.2.读/写分离经典的数据库拆分方案,主库负责写,从库负责读。 (2)双主双从模式: 4.3.垂直拆分当数据量级达到千万级以上时,有时候我们需要把一个数据库切成多份,放到不同的数据库服务器上,减少对单一数据库服务器的访问压力。
4.4.水平拆分(1)尽量控制单表数据量的大小,建议控制在 1000 万以内。1000 万并不是 MySQL 数据库的限制,过大会造成修改表结构、备份、恢复都会有很大的问题。此时可以用历史数据归档(应用于日志数据),水平分表(应用于业务数据)等手段来控制数据量大小。 (2)这里我们主要考虑业务数据的水平分表策略。将大的数据表按照某个属性维度分拆成不同的小表,每张小表保持相同的表结构。比如你可以按照年份来划分,把不同年份的数据放到不同的数据表中。2017年、2018年和2019年的数据就可以分别放到三张数据表中。 (3)水平分表仅是解决了单一表数据过大的问题,但由于表的数据还是在同一台机器上,其实对于提升 MySQL 并发能力没有什么意义,所以水平拆分最好分库,从而达到分布式的目的。 (4)水平拆分能够支持非常大的数据量存储,应用端改造也少,但分片事务难以解决,跨节点 Join 性能较差,逻辑复杂。《Java工程师修炼之道》的作者推荐尽量不要对数据进行分片,因为拆分会带来逻辑、部署、运维的各种复杂度,一般的数据表在优化得当的情况下支撑千万以下的数据量是没有太大问题的。如果实在要分片,尽量选择客户端分片架构,这样可以减少一次和中间件的网络 I/O。 (5)下面补充一下数据库分片的两种常见方案: 5.其它调优策略5.1.服务器语句超时处理(1)在 MySQL 8.0 中可以设置服务器语句超时的限制,单位可以达到毫秒级别。当中断的执行语句超过设置的毫秒数后,服务器将终止查询影响不大的事务或连接,然后将错误报给客户端。 (2)设置服务器语句超时的限制,可以通过设置系统变量 MAX_EXECUTION_TIME 来实现。默认情况下,MAX_EXECUTION_TIME的值为 0,代表没有时间限制。 例如:
5.2.创建全局通用表空间(1)MySQL 8.0 使用 CREATE TABLESPACE 语句来创建一个全局通用表空间。全局表空间可以被所有的数据库的表共享,而且相比于独享表空间,使用手动创建共享表空间可以节约元数据方面的内存。可以在创建表的时候,指定属于哪个表空间,也可以对已有表进行表空间修改等。下面创建名为 atguigu1 的共享表空间,SQL 语句如下:
(2)指定表空间,SQL 语句如下:
(3)也可以通过 ALTER TABLE 语句指定表空间,SQL 语句如下:
(4)如何删除创建的共享表空间?因为是共享表空间,所以不能直接通过 drop table tbname 删除,这样操作并不能回收空间。当确定共享表空间的数据都没用,并且依赖该表空间的表均已经删除时,可以通过 drop tablespace 删除共享表空间来释放空间,如果依赖该共享表空间的表存在,就会删除失败。如下所示。
所以应该首先删除依赖该表空间的数据表,SQL语句如下:
最后即可删除表空间,SQL语句如下:
5.3.MySQL 8.0新特性:隐藏索引对调优的帮助(1)不可见索引的特性对于性能调试非常有用。在 MysQL 8.0中,索引可以被“隐藏"和“显示”。当一个索引被隐藏时,它不会被查询优化器所使用。也就是说,管理员可以隐藏一个索引,然后观察对数据库的影响。如果数据库性能有所下降,就说明这个索引是有用的,于是将其"恢复显示"即可;如果数据库性能看不出变化,就说明这个索引是多余的,可以删掉了。 (2)需要注意的是当索引被隐藏时,它的内容仍然是和正常索引一样实时更新的。如果一个索引需要长期被隐藏,那么可以将其删除,因为索引的存在会影响插入、更新和删除的性能。 (3)此外,需要注意的是数据表中的主键不能被设置为 invisible。 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/23 10:02:57- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |