[大数据]【进阶篇】MySQL的锁问题

??锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中，数据是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。所以说，锁对数据库而言显得尤其重要，也更加复杂。

一、MySQL 锁概述

??MySQL的锁机制比较简单，其最显著的特点是不同的存储引擎支持不同的锁机制。比如，MyISAM和MEMORY存储引擎采用的是表级锁（table-level locking）；BDB存储引擎采用的是页面锁（page-level locking），但也支持表级锁；InnoDB存储引擎既支持行级锁（row-level locking），也支持表级锁，但默认情况下是采用行级锁。

??MySQL这3种锁的特性可大致归纳如下。

• 表级锁：开销小，加锁快；不会出现死锁；锁定粒度大，发生锁冲突的概率最高,并发度最低。
• 行级锁：开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低,并发度也最高。
• 页面锁：开销和加锁时间界于表锁和行锁之间；会出现死锁；锁定粒度界于表锁和行锁之间，并发度一般。

??所以很难说到底那种锁设计好，只能就具体应用的特点来说哪种锁更合适！
??从锁特点来说：表级锁更适合于以查询为主，只有少量按索引条件更新数据的应用，如 Web 应用；而行级锁则更适合于有大量按索引条件并发更新少量不同数据，同时又有并发查询的应用，如一些在线事务处理（OLTP）系统。我们重点介绍 MySQL 表锁和 InnoDB 行锁的问题，因为MySQL默认引擎就是InnoDB。

二、MyISAM 表锁

1、表锁争议

??可以通过检查table_locks_waited和table_locks_immediate状态变量来分析系统上的表锁定争夺：

show status like 'table%';
+-----------------------+-------+ 
| Variable_name | Value |
+-----------------------+-------+
| Table_locks_immediate | 2979 |
| Table_locks_waited | 0 |
+-----------------------+-------+
2 rows in set (0.00 sec))

??如果 Table_locks_waited 的值比较高，则说明存在着较严重的表级锁争用情况。

2、MyISAM 表级锁的锁模式

??MyISAM 的表级锁有两种模式：表共享读锁（Table Read Lock）和表独占写锁（Table Write Lock）。
锁模式的兼容性如下图：

??通过上表可见，对 MyISAM 表的读操作，不会阻塞其他用户对同一表的读请求，但会阻塞对同一表的
写请求；对 MyISAM 表的写操作，则会阻塞其他用户对同一表的读和写操作；MyISAM 表的读操作与写操作之间，以及写操作之间是串行的！看下面原书中的例子：

??当一个线程获得对一个表的写锁后，只有持有锁的线程可以对表进行更新、查询等操作。其他线程的读、
写操作都会等待，直到锁被释放为止。

3、如何加锁

??正常来说，MySQL的DML是自动加锁解锁的。如SELECT前，会自动给涉及的所有表加读锁，在UPDATE、DELETE、INSERT 等前，会自动给涉及的表加写锁，这个过程并不需要用户干预，因此，用户一般不需要直接用 LOCK TABLE 命令给 MyISAM 表显式加锁。

??MySQL的显示加锁，一般是为了在一定程度模拟事务操作，实现对某一时间点多个表的一致性读取。

??例如，有一个订单表 orders，其中记录有各订单的总金额 total，同时还有一个订单明细表 order_detail，其中记录有各订单每一产品的金额小计 subtotal，假设我们需要检查这两个表的金额合计是否相符，可能就需要执行如下两条 SQL：

Select sum(total) from orders;
Select sum(subtotal) from order_detail;

??这时，如果不先给两个表加锁，就可能产生错误的结果，因为第一条语句执行过程中，order_detail 表可能已经发生了改变。因此，正确的方法应该是：

Lock tables orders read local, order_detail read local;
Select sum(total) from orders;
Select sum(subtotal) from order_detail;
Unlock tables;

注意：

• 上面的例子在 LOCK TABLES 时加了“local”选项，其作用就是在满足 MyISAM 表并发插入条件的情况下，允许其他用户在表尾并发插入记录，有关 MyISAM 表的并发插入问题，后面介绍。
• 在用 LOCK TABLES 给表显式加表锁时，必须同时取得所有涉及到表的锁，并且 MySQL 不支持锁升级。也就是说，在执行 LOCK TABLES 后，只能访问显式加锁的这些表，不能访问未加锁的表；同时，如果加的是读锁，那么只能执行查询操作，而不能执行更新操作。其实，在自动加锁的情况下也基本如此，MyISAM 总是一次获得 SQL 语句所需要的全部锁。这也正是 MyISAM 表不会出现死锁（Deadlock Free）的原因。

??下图就上面说明举得例子，一个 session 使用 LOCK TABLE 命令给表 film_text 加了读锁，这 个 session 可以查询锁定表中的记录，但更新或访问其他表都会提示错误；同时，另外一个session 可以查询表中的记录，但更新就会出现锁等待；特别的还可以查询、更新没锁表的内容。

??当使用 LOCK TABLES 时，不仅需要一次锁定用到的所有表，而且，同一个表在 SQL 语句中出现多少次，就要通过与 SQL 语句中相同的别名锁定多少次，否则也会出错！举例说明如下。

--对 actor 表获得读锁：
lock table actor read;

--  但是通过别名访问会提示错误：
select a.first_name,a.last_name,b.first_name,b.last_name from actor a,actor b 
    where a.first_name = b.first_name and a.first_name = 'Lisa' 
    	and a.last_name = 'Tom' 
    	and a.last_name <> b.last_name;
    	
ERROR 1100 (HY000): Table 'a' was not locked with LOCK TABLES

-- 需要对别名分别锁定：
lock table actor as a read,actor as b read;

-- 按照别名的查询可以正确执行
select a.first_name,a.last_name,b.first_name,b.last_name from actor a,actor b 
    where a.first_name = b.first_name and a.first_name = 'Lisa' 
    	and a.last_name = 'Tom' 
    	and a.last_name <> b.last_name;

+------------+-----------+------------+-----------+
| first_name | last_name | first_name | last_name |
+------------+-----------+------------+-----------+
| Lisa | Tom | LISA | MONROE |
+------------+-----------+------------+-----------+
1 row in set (0.00 sec)

4、并发插入（Concurrent Inserts）

?? MyISAM 表的读和写是串行的，但在一定条件下，MyISAM表也支持查询和插入操作的并发进行。

??MyISAM存储引擎有一个系统变量concurrent_insert，专门用以控制其并发插入的行为，其值分别可以为0、1或2。

• 当concurrent_insert设置为0时，不允许并发插入。
• 当concurrent_insert设置为1时，如果MyISAM表中没有空洞（即表的中间没有被删除的行），MyISAM允许在一个进程读表的同时，另一个进程从表尾插入记录。这也是MySQL的默认设置。
• 当concurrent_insert设置为2时，无论MyISAM表中有没有空洞，都允许在表尾并发插入记录。

??在下图的例子中，session_1 获得了一个表的 READ LOCAL 锁，该线程可以对表进行查询操作，但不能对表进行更新操作；其他的线程（session_2），虽然不能对表进行删除和更新操作，但却可以对该表进行并发插入操作，这里假设该表中间不存在空洞。

??可以利用MyISAM存储引擎的并发插入特性，来解决应用中对同一表查询和插入的锁争用。例如，将concurrent_insert系统变量设为2，总是允许并发插入；同时，通过定期在系统空闲时段执行OPTIMIZE TABLE语句来整理空间碎片，收回因删除记录而产生的中间空洞。

5、MyISAM 的锁调度

??所以通过上面的讲解，关于MyISAM 的锁调度问题，总结如下图：
?

?

三、InnoDB 锁问题

??InnoDB 与 MyISAM 的最大不同有两点：一是支持事务（TRANSACTION）；二是采用了行级锁。所以InnoDB 的锁问题和MyISAM 锁问题差别很大。

1、背景知识

1.并发事务处理带来的问题

??首先行级锁相较于表锁，冲突少的多，所以经常用于并发事务处理，可以大大增加数据库资源的利用率，提高数据库系统的事务吞吐量，从而可以支持更多的用户，但是，并发伴随下面四种问题的发生：

• 更新丢失（Lost Update）：当两个或多个事务选择同一行更新时，由于事务相互独立，就会导致最后的更新覆盖了由其他事务所做的更新。一个事务在另一个事务提交之前无法访问同一行数据则可避免此问题。
• 脏读（Dirty Reads）：一个事务正在对一条记录做修改，在这个事务完成并提交前，这条记录的数据就处于不一致状态；这时，另一个事务也来读取同一条记录，如果不加控制，第二个事务读取了这些“脏”数据，并据此做进一步的处理，就会产生未提交的数据依赖关系。这种现象被形象地叫做"脏读"。
• 不可重复读（Non-Repeatable Reads）：一个事务在读取某些数据后的某个时间，再次读取以前读过的数据，却发现其读出的数据已经发生了改变、或某些记录已经被删除了！这种现象就叫做“不可重复读”。
• 幻读（Phantom Reads）：一个事务按相同的查询条件重新读取以前检索过的数据，却发现其他事务插入了满足其查询条件的新数据，这种现象就称为“幻读”。

2.事务隔离级别

??说到底，上面四种问题都是数据库一致性问题，而对于数据库一致性问题，基本都是采用事务隔离经行规避。数据库实现事务隔离的方式，基本上可分为以下两种。

• 一种是在读取数据前，对其加锁，阻止其他事务对数据进行修改。
• 另一种是不用加任何锁，通过一定机制生成一个数据请求时间点的一致性数据快照（Snapshot)，并用这个快照来提供一定级别（语句级或事务级）的一致性读取。这种技术叫做数据多版本并发控制（MultiVersion Concurrency Control，简称 MVCC 或MCC），也经常称为多版本数据库。

??数据库的事务隔离越严格，并发副作用越小，但付出的代价也就越大，因为事务隔离实质上就是使事务在一定程度上“串行化”进行，这显然与“并发”是矛盾的。同时，不同的应用对读一致性和事务隔离程度的要求也是不同的，比如许多应用对“不可重复读”和“幻读”并不敏感，可能更关心数据并发访问的能力。
??为了解决“隔离”与“并发”的矛盾，ISO/ANSI SQL92 定义了 4 个事务隔离级别，每个级别的隔离程度不同，允许出现的副作用也不同，应用可以根据自己的业务逻辑要求，通过选择不同的隔离级别来平衡“隔离”与“并发”的矛盾。下图概括了这 4 个隔离级别的特性。

??需要说明的是：不是所有数据库都包含上述的四种隔离级别，有的只有其中的几种，如Oracle只有已提交读、可序列化以及自定义的Read only 隔离级别；SQL Server 除上述四种还有“快照”隔离。
?

2、行锁争议

??可以通过检查 InnoDB_row_lock 状态变量来分析系统上的行锁的争夺情况：

show status like 'innodb_row_lock%';
+-------------------------------+-------+
| Variable_name | Value |
+-------------------------------+-------+
| InnoDB_row_lock_current_waits | 0 |
| InnoDB_row_lock_time | 0 |
| InnoDB_row_lock_time_avg | 0 |
| InnoDB_row_lock_time_max | 0 |
| InnoDB_row_lock_waits | 0 |
+-------------------------------+-------+
5 rows in set (0.01 sec)

??如果发现锁争用比较严重，如 InnoDB_row_lock_waits 和 InnoDB_row_lock_time_avg 的值比较高，还可以通过设置 InnoDB Monitors 来进一步观察发生锁冲突的表、数据行等，并分析锁争用的原因。
具体方法如下：

--创建监视器
 CREATE TABLE innodb_monitor(a INT) ENGINE=INNODB;
 
 --然后就可以用下面的语句来进行查看：
 Show innodb status;
 
--监视器可以通过发出下列语句来停止查看：
 DROP TABLE innodb_monitor;
 

??在监视器日志种，会有详细的当前锁等待的信息，包括表名、锁类型、锁定记录的情况等，便于进行进一步的分析和问题的确定。打开监视器以后，默认情况下每 15 秒会向日志中记录监控的内容，所以用户在确认问题原因之后，要记得删除监控表以关闭监视器，或者通过使用“–console”选项来启动服务器以关闭写日志文件，不然日志会很大，很费资源。

3、InnoDB 的行锁模式及加锁方法

??InnoDB 实现了以下两种类型的行锁。

• 共享锁（S）：允许一个事务去读一行，阻止其他事务获得相同数据集的排他锁。
• 排他锁（X)：允许获得排他锁的事务更新数据，阻止其他事务取得相同数据集的共享读锁和排他写锁。

??另外，为了允许行锁和表锁共存，实现多粒度锁机制，InnoDB 还有两种内部使用的意向锁（Intention Locks），这两种意向锁都是表锁。

• 意向共享锁（IS）：事务打算给数据行加行共享锁，事务在给一个数据行加共享锁前必须先取得该表的 IS 锁。
• 意向排他锁（IX）：事务打算给数据行加行排他锁，事务在给一个数据行加排他锁前必须先取得该表的 IX 锁。

??这个东西其实和前面介绍的表锁差不多，都是共享读和私有写，不同在于锁粒度不同，还有就是行锁多了两个意向状态锁。意向锁是 InnoDB 自动加的，不需用户干预。
??和表锁一样，InnoDB 的行锁默认也是自动加的，对于 UPDATE、DELETE 和 INSERT 语句，InnoDB会自动给涉及数据集加排他锁（X)；对于普通 SELECT 语句，InnoDB 不会加任何锁。

显示加行锁方法：

共享锁（S）：
SELECT * FROM table_name WHERE … LOCK IN SHARE MODE。
?
排他锁（X)：
SELECT * FROM table_name WHERE … FOR UPDATE。

4、InnoDB 行锁实现方式

??InnoDB 行锁是通过给索引上的索引项加锁来实现的，这一点 MySQL 与 Oracle 不同，后者是通过在数据块中对相应数据行加锁来实现的。InnoDB 这种行锁实现特点意味着：只有通过索引条件检索数据，InnoDB 才使用行级锁，否则，InnoDB 将使用表锁！

??下面总结InnoDB 行锁使用注意项：

• 在不通过索引条件查询的时候，InnoDB 确实使用的是表锁，而不是行锁（尽管你可能显示的加了行锁）。
• 尽管行数据不同，但索引键相同，也会发生锁冲突而等待。
• 有多个索引时，可以使用不同的索引锁定不同的行，不论是哪种索引（主键索引、唯一索引或普通索引），当然不同索引锁同一行数据是会发生冲突的。
• 当数据实际没使用索引时，则也是使用表索引，而不是行索引。关于 MySQL 在什么情况下不使用索引的详细讨论，后面介绍。

5、间隙锁（Next-Key 锁）

??存在这样一种情况：当我们用范围条件检索数据，并请求共享或排他锁时，InnoDB 会给符合条件的已有数据记录的索引项加锁；对于键值在条件范围内但并不存在的记录，叫做“间隙（GAP)”，InnoDB 也会对这个“间隙”加锁，这种锁机制就是所谓的间隙锁（Next-Key 锁）。

例如：

emp 表中只有 101 条记录，其 empid的值分别是 1,2,…,100,101
Select * from emp where empid > 100 for update;
?
上面语句不仅会对符合条件的 empid 值为 101 的记录加锁，也会对empid 大于 101（这些记录并不存在）的“间隙”加锁。

??间隙锁的作用：

• 一方面是为了防止幻读，以满足相关隔离级别的要求。（上例中，若没间隙锁，其他事务插入empid=102的数据，就会导致当前事务的幻读）
• 另外一方面，是为了满足其恢复和复制的需要。（有关恢复和复制，后面介绍）

??还要特别说明的是，InnoDB 除了通过范围条件加锁时使用间隙锁外，如果使用相等条件请求给一个不存在的记录加锁，InnoDB 也会使用间隙锁！间隙锁之间不是互斥的。所以很容易出现多个事务获得同一个间隙的锁，从而发生死锁！

6、恢复和复制对 InnoDB 锁机制的影响

??MySQL 通过 BINLOG 记录执行成功的 INSERT、UPDATE、DELETE 等更新数据的 SQL 语句，并由此实现 MySQL 数据库的恢复和主从复制。

??MySQL 的恢复机制（复制其实就是在 Slave Mysql 不断做基于 BINLOG 的恢复）有以下特点。

• 一是 MySQL 的恢复是 SQL 语句级的，也就是重新执行 BINLOG 中的 SQL 语句。这与Oracle 数据库不同，Oracle 是基于数据库文件块的。
• 二是 MySQL的 Binlog是按照事务提交的先后顺序记录的，恢复也是按这个顺序进行的。这点也与 Oralce 不同，Oracle 是按照系统更新号（System Change Number，SCN）来恢复数据的，每个事务开始时，Oracle 都会分配一个全局唯一的 SCN，SCN 的顺序与事务开始的时间顺序是一致的。

??关于这个的更加实际的操作，咱不是DBA，咱也没干过。只能具体干的时候再去找，先有个了解，又游泳池的时候再下水学游泳。

7、死锁问题

??MyISAM 表锁是 deadlock free 的，这是因为 MyISAM 总是一次获得所需的全部锁，要么全部满足，要么等待，因此不会出现死锁。但在 InnoDB 中，除单个 SQL 组成的事务外，锁是逐步获得的，这就决定了在 InnoDB 中发生死锁是可能的。

下面演示一个最简单的死锁情况：

??发生死锁后，InnoDB 一般都能自动检测到，并使一个事务释放锁并回退，另一个事务获得锁，继续完成事务。但在涉及外部锁，或涉及表锁的情况下，InnoDB 并不能完全自动检测到死锁，这需要通过设置锁等待超时参数 innodb_lock_wait_timeout 来解决。需要说明的是，这个参数并不是只用来解决死锁问题，在并发访问比较高的情况下，如果大量事务因无法立即获得所需的锁而挂起，会占用大量计算机资源，造成严重性能问题，甚至拖跨数据库。我
们通过设置合适的锁等待超时阈值，可以避免这种情况发生。
??通常来说，绝大部分死锁都可以避免。下面就介绍几种避免死锁的常用方法。

1. 在应用中，如果不同的程序会并发存取多个表，应尽量约定以相同的顺序来访问表，这样可以大大降低产生死锁的机会。
2. 在程序以批量方式处理数据的时候，如果事先对数据排序，保证每个线程按固定的顺序来处理记录，也可以大大降低出现死锁的可能。
3. 在事务中，如果要更新记录，应该直接申请足够级别的锁，即排他锁，而不应先申请共享锁，更新时再申请排他锁，因为当用户申请排他锁时，其他事务可能又已经获得了相同记录的共享锁，从而造成锁冲突，甚至死锁。
4. 选择合适的隔离级别。
5. 遇到主键重复错误时，总是执行 ROLLBACK 释放获得的排他锁

??尽管通过上面介绍的设计和 SQL 优化等措施，可以大大减少死锁，但死锁很难完全避免。因此，在程序设计中总是捕获并处理死锁异常是一个很好的编程习惯。
??如果出现死锁，可以用 SHOW INNODB STATUS 命令来确定最后一个死锁产生的原因。返回结果中包括死锁相关事务的详细信息，如引发死锁的 SQL 语句，事务已经获得的锁，正在等待什么锁，以及被回滚的事务等。据此可以分析死锁产生的原因和改进措施。

8、关于 InnoDB 表锁的使用

??对于 InnoDB 表，在绝大部分情况下都应该使用行级锁，因为事务和行锁往往是我们之所以选择 InnoDB 表的理由。但在个别特殊事务中，也可以考虑使用表级锁。

• 第一种情况是：事务需要更新大部分或全部数据，表又比较大，如果使用默认的行锁，不仅这个事务执行效率低，而且可能造成其他事务长时间锁等待和锁冲突，这种情况下可以考虑使用表锁来提高该事务的执行速度。
• 第二种情况是：事务涉及多个表，比较复杂，很可能引起死锁，造成大量事务回滚。这种情况也可以考虑一次性锁定事务涉及的表，从而避免死锁、减少数据库因事务回滚带来的开销。

?? 当然，应用中这两种事务不能太多，否则，就应该考虑使用 MyISAM 表了。

??在 InnoDB 下，使用表锁要注意以下两点。

（1）使用 LOCK TABLES 虽然可以给 InnoDB 加表级锁，但必须说明的是，表锁不是由 InnoDB存储引擎层管理的，而是由其上一层的MySQL Server 负责的，仅当 autocommit=0、innodb_table_locks=1（默认设置）时，InnoDB 层才能知道 MySQL 加的表锁，MySQL Server也才能感知 InnoDB 加的表锁，这种情况下，InnoDB 才能自动识别涉及表级锁的死锁；否则，InnoDB 将无法自动检测并处理这种死锁。
（2）在用 LOCK TABLES 对 InnoDB 表加锁时要注意，要将 AUTOCOMMIT 设为 0，否则MySQL 不会给表加锁；事务结束前，不要用 UNLOCK TABLES 释放表锁，因为 UNLOCK TABLES会隐含地提交事务；COMMIT 或 ROLLBACK 并不能释放用 LOCK TABLES 加的表级锁，必须用UNLOCK TABLES 释放表锁。正确的方式见如下语句：

例如，如果需要写表 t1 并从表 t 读，可以按如下做：
SET AUTOCOMMIT=0;
LOCK TABLES t1 WRITE, t2 READ, …;
[do something with tables t1 and t2 here];
COMMIT;
UNLOCK TABLES;

创作打卡挑战赛

赢取流量/现金/CSDN周边激励大奖