MySQL locking mechanism - you want to know all this up!

First, the type of lock

1. row lock

(1) a shared lock (S Lock) allows transactions to read a line of data

(2) an exclusive lock (X Lock) allows transactions to read a line of data

1240

2. Table locks (intent locks)

Lock allows the lock on the lock on the table level and row level matters exist. In order to support operations on different granularity locking, InnoDB storage engine supports one additional locking manner

(1) intent shared lock (IS Lock) Transaction want to get a table shared lock a few lines

(2) intent exclusive locks (IX Lock) Transaction want to get a table row a few lines of his locks

Since the InnoDB storage engine supports row-level locking is therefore intent lock is not going to block any request other than the full table scan. Therefore, as shown in Table compatibility level intent locks row level locking

1240

If locked objects as a tree, then the lowest layer of the object is locked, it is simply the most fine-grained object locking, you first need objects to coarse-grained locking. Example figure, if need be on page record r on the X lock, the database needs are A, Table, IX intent lock on the page, the last record r X lock. If any part of a lead to wait, then the operator needs to wait for completion of a coarse-grained locks. For example, prior to recording r plus X lock, for the transaction has been carried out in Table 1 S lock table, then the table 1 S lock already exists, then the transaction record r on the need for adding IX Table 1, due to compatible, so the need to wait for the transaction table lock operation is complete.

3. Intent locks in the end what role?

Case lock coexistence innodb intent locks the main users of multi-granularity. A transaction such as to add S lock on a table, if the row in the table have been added to the X lock transaction B, then the lock request should be blocked. If the data in the table a lot of overhead line by line examination of the large lock symbol, system performance will be affected. To solve this problem, you can introduce new types of locks on the table-level locking case to represent their respective lines, which leads to the concept of "intent lock".

举个例子,如果表中记录1亿,事务A把其中有几条记录上了行锁了,这时事务B需要给这个表加表级锁,如果没有意向锁的话,那就要去表中查找这一亿条记录是否上锁了。如果存在意向锁,那么假如事务A在更新一条记录之前,先加意向锁,再加X锁,事务B先检查该表上是否存在意向锁,存在的意向锁是否与自己准备加的锁冲突,如果有冲突,则等待直到事务A释放,而无须逐条记录去检测。事务B更新表时,其实无须知道到底哪一行被锁了,它只要知道反正有一行被锁了就行了。主要作用是处理行锁和表锁之间的矛盾,能够显示“某个事务正在某一行上持有了锁,或者准备去持有锁”

二、锁的算法

1. Record Lock:单个行记录上的锁

2. Gap Lock:间隙锁,锁定一个范围,但不包含记录本身

3. Next-Key Lock∶Gap Lock+Record Lock,锁定一个范围、索引之间的间隙,并且锁定记录本身;目的是为了防止幻读

三、mysql如何做到读写并行(多版本控制)?

多版本并发控制 MVCC,是行级锁的一个变种,通过保存数据在某个时间节点的快照(snapshot),类似实现了行级锁。由此不同事务对同一表,同一时刻看到的数据可能是不一样的。 实现上通过在不同的数据行后增加创建日期版本号和删除日期版本号,且版本号不断递增,进而实现了数据快照

1. 读的类型

(1)一致性非锁定读(快照读)

在事务隔离级别提交读(RC)和可重复读(RR)下,InnoDB存储引擎使用非锁定的一致性读

① RC模式下,读取最新的快照

② RR模式下,读取事务开始时的快照

(2)一致性锁定读 (当前读)

① 隔离级别为未提交读(RN)时读取都是当前读

② SELECT…FOR UPDATE (加写锁)

③ SELECT…LOCK IN SHARE MODE (加读锁)

四、加锁处理分析

下面两条简单的SQL,他们加什么锁?

select * from t1 where id = 10 delete from t1 where id = 10 如果要分析加锁情况,必须还要知道以下的一些前提,前提不同,加锁处理的方式也不同

(1)前提一:id列是不是主键?

(2)前提二:当前系统的隔离级别是什么?

(3)前提三:id列如果不是主键,那么id列上有索引吗?

(4)前提四:id列上如果有二级索引,那么这个索引是唯一索引吗?

(5)前提五:两个SQL的执行计划是什么?索引扫描?全表扫描?

根据上述情况,有以下几种组合:

① 组合一:id列是主键,RC隔离级别

② 组合二:id列是二级唯一索引,RC隔离级别

③ 组合三:id列是二级非唯一索引,RC隔离级别

④ 组合四:id列上没有索引,RC隔离级别

⑤ 组合五:id列是主键,RR隔离级别

⑥ 组合六:id列是二级唯一索引,RR隔离级别

⑦ 组合七:id列是二级非唯一索引,RR隔离级别

⑧ 组合八:id列上没有索引,RR隔离级别

⑨ 组合九:Serializable隔离级别

排列组合还没有列举完全,但是看起来,已经很多了。真的有必要这么复杂吗?事实上,要分析加锁,就是需要这么复杂。但是从另一个角度来说,只要你选定了一种组合,SQL需要加哪些锁,其实也就确定了。接下来挑几个比较经典的组合

1. 组合一:id主键+RC

这个组合,是最简单,最容易分析的组合。id是主键,Read Committed隔离级别,给定SQL:delete from t1 where id = 10; 只需要将主键上,id = 10的记录加上X锁即可。如下图所示:

1240

结论:id是主键时,此SQL只需要在id=10这条记录上加X锁即可。

2. 组合二:id唯一索引+RC

这个组合,id不是主键,而是一个Unique的二级索引键值。那么在RC隔离级别下,delete from t1 where id = 10; 需要加什么锁呢?见下图:

1240

id是unique索引,而主键是name列。此时,加锁的情况由于组合一有所不同。由于id是unique索引,因此delete语句会选择走id列的索引进行where条件的过滤,在找到id=10的记录后,首先会将unique索引上的id=10索引记录加上X锁,同时,会根据读取到的name列,回主键索引(聚簇索引),然后将聚簇索引上的name = ‘d’ 对应的主键索引项加X锁。

结论:若id列是unique列,其上有unique索引。那么SQL需要加两个X锁,一个对应于id unique索引上的id = 10的记录,另一把锁对应于聚簇索引上的[name='d',id=10]的记录、

3. 组合三:id非唯一索引+RC

相对于组合一、二,组合三又发生了变化,隔离级别仍旧是RC不变,但是id列上的约束又降低了,id列不再唯一,只有一个普通的索引。假设delete from t1 where id = 10; 语句,仍旧选择id列上的索引进行过滤where条件,那么此时会持有哪些锁?同样见下图:

1240

根据此图,可以看到,首先,id列索引上,满足id = 10查询条件的记录,均已加锁。同时,这些记录对应的主键索引上的记录也都加上了锁。与组合二唯一的区别在于,组合二最多只有一个满足等值查询的记录,而组合三会将所有满足查询条件的记录都加锁。

结论:若id列上有非唯一索引,那么对应的所有满足SQL查询条件的记录,都会被加锁。同时,这些记录在主键索引上的记录,也会被加锁。

4. 组合四:id无索引+RC

相对于前面三个组合,这是一个比较特殊的情况。id列上没有索引,where id = 10;这个过滤条件,没法通过索引进行过滤,那么只能走全表扫描做过滤。对应于这个组合,SQL会加什么锁?或者是换句话说,全表扫描时,会加什么锁?这个答案也有很多:有人说会在表上加X锁;有人说会将聚簇索引上,选择出来的id = 10;的记录加上X锁。那么实际情况呢?请看下图:

1240

由于id列上没有索引,因此只能走聚簇索引,进行全部扫描。从图中可以看到,满足删除条件的记录有两条,但是,聚簇索引上所有的记录,都被加上了X锁。无论记录是否满足条件,全部被加上X锁。既不是加表锁,也不是在满足条件的记录上加行锁。

有人可能会问?为什么不是只在满足条件的记录上加锁呢?这是由于MySQL的实现决定的。如果一个条件无法通过索引快速过滤,那么存储引擎层面就会将所有记录加锁后返回,然后由MySQL Server层进行过滤。因此也就把所有的记录,都锁上了。

结论:若id列上没有索引,SQL会走聚簇索引的全扫描进行过滤,由于过滤是由MySQL Server层面进行的。因此每条记录,无论是否满足条件,都会被加上X锁。但是,为了效率考量,MySQL做了优化,对于不满足条件的记录,会在判断后放锁,最终持有的,是满足条件的记录上的锁,但是不满足条件的记录上的加锁/放锁动作不会省略。同时,优化也违背了2PL的约束。

5. 组合五:id主键+RR

上面的四个组合,都是在Read Committed隔离级别下的加锁行为,接下来的四个组合,是在Repeatable Read隔离级别下的加锁行为。

组合五,id列是主键列,Repeatable Read隔离级别,针对delete from t1 where id = 10; 这条SQL,加锁与组合一:[id主键,Read Committed]一致。

6. 组合六:id唯一索引+RR

与组合五类似,组合六的加锁,与组合二:[id唯一索引,Read Committed]一致。两个X锁,id唯一索引满足条件的记录上一个,对应的聚簇索引上的记录一个。

7. 组合七:id非唯一索引+RR

还记得前面提到的MySQL的四种隔离级别的区别吗?RC隔离级别允许幻读,而RR隔离级别,不允许存在幻读。但是在组合五、组合六中,加锁行为又是与RC下的加锁行为完全一致。那么RR隔离级别下,

组合七,Repeatable Read隔离级别,id上有一个非唯一索引,执行delete from t1 where id = 10; 假设选择id列上的索引进行条件过滤,最后的加锁行为,是怎么样的呢?同样看下面这幅图:  

1240

结论:Repeatable Read隔离级别下,id列上有一个非唯一索引,对应SQL:delete from t1 where id = 10; 首先,通过id索引定位到第一条满足查询条件的记录,加记录上的X锁,加GAP上的GAP锁,然后加主键聚簇索引上的记录X锁,然后返回;然后读取下一条,重复进行。直至进行到第一条不满足条件的记录[11,f],此时,不需要加记录X锁,但是仍旧需要加GAP锁,最后返回结束。什么时候会取得gap lock或nextkey lock  这和隔离级别有关,只在REPEATABLE READ或以上的隔离级别下的特定操作才会取得gap lock或nextkey lock。

8. 组合八:id无索引+RR

组合八,Repeatable Read隔离级别下的最后一种情况,id列上没有索引。此时SQL:delete from t1 where id = 10; 没有其他的路径可以选择,只能进行全表扫描。最终的加锁情况,下图所示:   

1240

结论:在Repeatable Read隔离级别下,如果进行全表扫描的当前读,那么会锁上表中的所有记录,同时会锁上聚簇索引内的所有GAP,杜绝所有的并发 更新/删除/插入 操作。当然,也可以通过触发semi-consistent read,来缓解加锁开销与并发影响,但是semi-consistent read本身也会带来其他问题,不建议使用。

9. 组合九:Serializable

针对前面提到的简单的SQL,最后一个情况:Serializable隔离级别。对于SQL2:delete from t1 where id = 10; 来说,Serializable隔离级别与Repeatable Read隔离级别完全一致,因此不做介绍。

Serializable隔离级别,影响的是SQL1:select * from t1 where id = 10; 这条SQL,在RC,RR隔离级别下,都是快照读,不加锁。但是在Serializable隔离级别,SQL1会加读锁,也就是说快照读不复存在,MVCC并发控制降级为Lock-Based CC。

结论:在MySQL/InnoDB中,所谓的读不加锁,并不适用于所有的情况,而是隔离级别相关的。Serializable隔离级别,读不加锁就不再成立,所有的读操作,都是当前读。

五、死锁案例

1. 不同表相同记录行锁冲突

这种情况很好理解,事务A和事务B操作两张表,但出现循环等待锁情况。

1240

2. 相同表记录行锁冲突

这种情况比较常见,之前遇到两个job在执行数据批量更新时,jobA处理的的id列表为[1,2,3,4],而job处理的id列表为[8,9,10,4,2],这样就造成了死锁。

1240

3. 不同索引锁冲突

这种情况比较隐晦,事务A在执行时,除了在二级索引加锁外,还会在聚簇索引上加锁,在聚簇索引上加锁的顺序是[1,4,2,3,5],而事务B执行时,只在聚簇索引上加锁,加锁顺序是[1,2,3,4,5],这样就造成了死锁的可能性。

1240

4. gap锁冲突

innodb在RR级别下,如下的情况也会产生死锁,比较隐晦。不清楚的同学可以自行根据上节的gap锁原理分析下。

1240

六、如何尽可能避免死锁

以固定的顺序访问表和行。比如对第2节两个job批量更新的情形,简单方法是对id列表先排序,后执行,这样就避免了交叉等待锁的情形;又比如对于3.1节的情形,将两个事务的sql顺序调整为一致,也能避免死锁。

大事务拆小。大事务更倾向于死锁,如果业务允许,将大事务拆小。

在同一个事务中,尽可能做到一次锁定所需要的所有资源,减少死锁概率。

降低隔离级别。如果业务允许,将隔离级别调低也是较好的选择,比如将隔离级别从RR调整为RC,可以避免掉很多因为gap锁造成的死锁。

为表添加合理的索引。可以看到如果不走索引将会为表的每一行记录添加上锁,死锁的概率大大增大。

七、如何查看锁?

从InnoDB1.0开始,在INFORMATION_SCHEMA架构下添加了表INNODB_TRX、INNODB_LOCKS、INNODB_LOCK_WAITS。(详情见附录)通过这三张表,用户可以更简单地监控当前事务并分析可能存在的锁问题。

1240

八、mysql是如何预防死锁的?

1. innodb_lock_wait_timeout 等待锁超时回滚事务

直观方法是在两个事务相互等待时,当一个等待时间超过设置的某一阀值时,对其中一个事务进行回滚,另一个事务就能继续执行。

2. wait-for graph算法来主动进行死锁检测

每当加锁请求无法立即满足需要并进入等待时,wait-for graph算法都会被触发。

wait-for graph要求数据库保存以下两种信息:

(1)锁的信息链表

(2)事务等待链表

通过上述链表可以构造出一张图,而在这个图中若存在回路,就代表存在死锁,因此资源间相互发生等待。在wait-for graph中,事务为图中的节点。而在图中,事务T1指向T2边的定义为:

事务T1等待事务T2所占用的资源

事务T1最终等待T2所占用的资源,也就是事务之间在等待相同的资源,而事务T1发生在事务T2的后面

1240

示例事务状态和锁的信息

在Transaction Wait Lists中可以看到共有4个事务t1、t2、t3、t4,故在wait-for graph中应有4个节点。而事务t2对row1占用x锁,事务t1对row2占用s锁。事务t1需要等待事务t2中row1的资源,因此在wait-for graph中有条边从节点t1指向节点t2。事务t2需要等待事务t1、t4所占用的row2对象,故而存在节点t2到节点t1、t4的边。同样,存在节点t3到节点t1、t2、t4的边,因此最终的wait-for graph如下图所示。

1240

ps:若存在则有死锁,通常来说InnoDB存储引擎选择回滚undo量最小的事务并从新开始

九、附录

1. INNODB_ROW_LOCK

1240

2. INNODB_TRX

InnoDB provides information about the currently being performed internally each transaction, including whether the transaction is waiting for the lock, and when the transaction start and transaction executing SQL statements (if any).

1240

1240

3. INNODB_LOCKS

InnoDB provides information about the transaction has been requested but not yet obtained information for each lock, and each lock held by the transaction to prevent another transaction.

1240

4. INNODB_LOCK_WAITS

Each transaction is blocked InnoDB comprising one or more lines, indicating that it has requested the lock, and the lock request prevents any.

1240


Guess you like

Origin blog.51cto.com/14453419/2424740