锁是计算机协调多个进程或者线程并发访问某一资源的机制,在数据库中,除了传统的计算资源[CPU,RAM,I/O等]争用以外,数据也是许多用户共享的资源,如何保证数据的一致性和有效性也是一个值得考虑的问题。
MySQL中的锁机制比较简单,主要是不同的存储引擎支持不同的锁机制
MyISAM和MEMORY采用的是表级锁[table-level locking]BDB支持的是页面锁 也支持表级锁InnoDB既支持行级锁 也支持表级锁 默认支持的是行级锁表级锁:
开销小,加锁快; 不会出现死锁; 锁定粒度大,发生锁冲突的概率最高,并发度最低。行级锁:
开销大,加锁慢; 会出现死锁; 锁定粒度最小,发生锁冲突的概率最低,并发度也最高。页面锁:
开销和加锁时间界于表锁和行锁之间; 会出现死锁; 锁定粒度界于表锁和行锁之间,并发度一般。使用场景:
表级锁更适合以查询为主 只有少量按照索引条件更新数据的应用 如Web应用行级锁更适合有大量按照索引条件并发更新少量不同的数据 同时又有并发查询的应用首先介绍两个概念:排他锁和共享锁
共享锁[Shared Lock]因此也称作S锁或者读锁,表示对数据进行读操作时加的锁,当某个数据被加上共享锁时,其他事务也可以对该数据加共享锁进行读操作,但是不可以被加上排他锁去进行写操作
对读操作共享 对写操作阻塞
产生共享锁的sql:
select * from tablename in share mode;排他锁[Exclusive Lock]也称X锁或者写锁,表示对数据进行写操作时加的锁,当某个数据被加上排他锁时,那么其他事务不可以再对该事务加排他锁或者共享锁。 产生排他锁的sql:
select * from tablename in update mode;对于锁,通常会用一个矩阵来描述他们之间的冲突关系。
S X S + – X – – + 代表兼容, - 代表不兼容执行sql:select * from information_schema.innodb_locks; 可以查看锁。
MyISAM的表锁分为:表行级锁和表排他锁 表共享锁不会阻塞其他事务的读请求 但是会阻塞对同一张表的写请求。 表排他锁既会阻塞读请求也会阻塞写请求
我们可以使用一个例子来理解一下: 测试数据:
create table m( id int, name varchar(20) )engine=myisam;我们先使用事务A对表m加上写锁lock table m write 而后进行读操作select * from m; 执行结果:
+------+------------+ | id | name | +------+------------+ | 1 | heqianqian | | 2 | jack | | 3 | rose | | 4 | json | | 5 | tom | | 10 | john | | 8 | nash | | 100 | bill | | 7 | gate | +------+------------+再执行更新update m set name='hqq' where id =1和删除操作delete from m where id = 7 执行结果:
mysql> update m set name='hqq' where id=1; Query OK, 1 row affected (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql> delete from m where id = 7; Query OK, 1 row affected (0.05 sec)是没有问题的,这时我们开启另一个事务B,使用B进行读操作,发现操作被阻塞了,同理使用update,insert,delete操作也会被阻塞
mysql> select * from m;此时我们将事务A的写锁释放unlock tables; 这时候事务B的读取结果立马就显示出来了
mysql> select * from m; +------+------+ | id | name | +------+------+ | 1 | hqq | | 2 | jack | | 3 | rose | | 4 | json | | 5 | tom | | 10 | john | | 8 | nash | | 100 | bill | +------+------+ 8 rows in set (1 min 32.33 sec)这里我们是给m表添加了写锁,可以进行读写操作,但是 当我们给m表加上的是读锁时,那么就只能进行读操作了。
mysql> lock table m read; Query OK, 0 rows affected (0.00 sec) mysql> insert into m(id,name) values(20,'Linda'); ERROR 1099 (HY000): Table 'm' was locked with a READ lock and can't be updated mysql> update m set name='mommy' where id=8; ERROR 1099 (HY000): Table 'm' was locked with a READ lock and can't be updated mysql> delete from m where id = 1; ERROR 1099 (HY000): Table 'm' was locked with a READ lock and can't be updatedMyISAM在执行查询语句(SELECT)前,会自动给涉及的所有表加读锁,在执行更新操作 (UPDATE、DELETE、INSERT等)前,会自动给涉及的表加写锁,这个过程并不需要用户干预,因此,用户一般不需要直接用LOCK TABLE命令给MyISAM表显式加锁
还有一些值得注意的事:
使用lock table显示加锁时
只能显示的访问加锁的这些表 不能访问未加锁的表
如果加的是读锁,那么只能执行查询操作,而不能执行更新操作
在自动加锁的 情况下也基本如此,MyISAM总是一次获得SQL语句所需要的全部锁。这也正是MyISAM表不会出现死锁(Deadlock Free)的原因。
当使用LOCK TABLES时,不仅需要一次锁定用到的所有表,而且,同一个表在SQL语句中出现多少次,就要通过与SQL语句中相同的别名锁定多少次,否则也会出错
(1)对actor表获得读锁: mysql> lock table actor read; Query OK, 0 rows affected (0.00 sec) (2)但是通过别名访问会提示错误: mysql> select a.first_name,a.last_name,b.first_name,b.last_name from actor a,actor b where a.first_name = b.first_name and a.first_name = 'Lisa' and a.last_name = 'Tom' and a.last_name <> b.last_name; ERROR 1100 (HY000): Table 'a' was not locked with LOCK TABLES (3)需要对别名分别锁定: mysql> lock table actor as a read,actor as b read; Query OK, 0 rows affected (0.00 sec) (4)按照别名的查询可以正确执行: mysql> select a.first_name,a.last_name,b.first_name,b.last_name from actor a,actor b where a.first_name = b.first_name and a.first_name = 'Lisa' and a.last_name = 'Tom' and a.last_name <> b.last_name; +------------+-----------+------------+-----------+ | first_name | last_name | first_name | last_name | +------------+-----------+------------+-----------+ | Lisa | Tom | LISA | MONROE | +------------+-----------+------------+-----------+ 1 row in set (0.00 sec)M表的读锁和写锁是互斥的 读写操作的串行的 那么当一个进程请求读 同时另一个进程也请求同一个表的写锁时 会如何处理呢 答案是写进程先获得锁 不仅如此,即使读请求先到锁等待队列,写请求后 到,写锁也会插到读锁请求之前!这是因为MySQL认为写请求一般比读请求要重要。这也正是MyISAM表不太适合于有大量更新操作和查询操作应用的原 因,因为,大量的更新操作会造成查询操作很难获得读锁,从而可能永远阻塞
调节方法:
通过指定启动参数low-priority-updates,使MyISAM引擎默认给予读请求以优先的权利。 通过执行命令SET LOW_PRIORITY_UPDATES=1,使该连接发出的更新请求优先级降低。通过指定INSERT、UPDATE、DELETE语句的LOW_PRIORITY属性,降低该语句的优先级上述三种方法都是要么更新优先 要么查询优先 MySQL也提供了这种的方法 即给系统参数max_write_lock_count设置一个合适的值,当一个表的读锁达到这个值后,MySQL就暂时将写请求的优先级降低,给读进程一定获得锁的机会。
InnoDB和MyISAM的区别是:1.支持事务2.支持行级锁
1.事务和ACID属性
原子性(Atomicity):事务是一个原子操作单元,其对数据的修改,要么全都执行,要么全都不执行。一致性(Consistent):在事务开始和完成时,数据都必须保持一致状态。这意味着所有相关的数据规则都必须应用于事务的修改,以保持数据的完整性;事务结束时,所有的内部数据结构(如B树索引或双向链表)也都必须是正确的。隔离性(Isolation):数据库系统提供一定的隔离机制,保证事务在不受外部并发操作影响的“独立”环境执行。这意味着事务处理过程中的中间状态对外部是不可见的,反之亦然。持久性(Durable):事务完成之后,它对于数据的修改是永久性的,即使出现系统故障也能够保持。2.并发处理带来的问题 1. 更新丢失(Lost Update) 当两个或多个事务选择同一行,然后基于最初选定的值更新该行时,由于每个事务都不知道其他事务的存在,就会发生丢失更新问题--最后的更 新覆盖了由其他事务所做的更新。例如,两个编辑人员制作了同一文档的电子副本。每个编辑人员独立地更改其副本,然后保存更改后的副本,这样就覆盖了原始文 档。最后保存其更改副本的编辑人员覆盖另一个编辑人员所做的更改。如果在一个编辑人员完成并提交事务之前,另一个编辑人员不能访问同一文件,则可避免此问题。 2. 脏读(Dirty Reads) 一个事务正在对一条记录做修改,在这个事务完成并提交前,这条记录的数据就处于不一致状态;这时,另一个事务也来读取同一条记录,如果不加 控制,第二个事务读取了这些“脏”数据,并据此做进一步的处理,就会产生未提交的数据依赖关系。这种现象被形象地叫做”脏读”。 3. 不可重复读(Non-Repeatable Reads) 一个事务在读取某些数据后的某个时间,再次读取以前读过的数据,却发现其读出的数据已经发生了改变、或某些记录已经被删除了!这种现象就叫做“不可重复读”。 4. 幻读(Phantom Reads) 一个事务按相同的查询条件重新读取以前检索过的数据,却发现其他事务插入了满足其查询条件的新数据,这种现象就称为“幻读
3.数据库事先事务隔离的方式
加锁通过一定机制生成一个数据请求时间点的一致性数据快照(Snapshot),并用这个快照来提供一定级别(语句级或事务级)的一致 性读取 从用户的角度来看,好象是数据库可以提供同一数据的多个版本,因此,这种技术叫做数据多版本并发控制(MultiVersion Concurrency Control,简称MVCC或MCC),也经常称为多版本数据库。4.行锁模式和加锁方式 InnoDB实现了以下两种类型的行锁。
共享锁(S):允许一个事务去读一行,阻止其他事务获得相同数据集的排他锁。排他锁(X):允许获得排他锁的事务更新数据,阻止其他事务取得相同数据集的共享读锁和排他写锁。另外,为了允许行锁和表锁共存,实现多粒度锁机制,InnoDB还有两种内部使用的意向锁(Intention Locks),这两种意向锁都是表锁。
意向共享锁(IS):事务打算给数据行加行共享锁,事务在给一个数据行加共享锁前必须先取得该表的IS锁。意向排他锁(IX):事务打算给数据行加行排他锁,事务在给一个数据行加排他锁前必须先取得该表的IX锁。意向锁是InnoDB自动加的,不需用户干预。对于UPDATE、DELETE和INSERT语句,InnoDB会自动给涉及数据集加排他锁(X)
对于普通SELECT语句,InnoDB不会加任何锁;事务可以通过以下语句显示给记录集加共享锁或排他锁
共享锁(S):SELECT * FROM table_name WHERE ... LOCK IN SHARE MODE。 排他锁(X):SELECT * FROM table_name WHERE ... FOR UPDATE。InnoDB行锁是通过给索引上的索引项加锁来实现的,这一点MySQL与Oracle不同,后者是通过在数据块中对相应数据行加锁来实现的。 InnoDB这种行锁实现特点意味着:
只有通过索引条件检索数据,InnoDB才使用行级锁,否则,InnoDB将使用表锁!
总结 (1)在不通过索引条件查询的时候,InnoDB确实使用的是表锁,而不是行锁。 (2)由于MySQL的行锁是针对索引加的锁,不是针对记录加的锁,所以虽然是访问不同行的记录,但是如果是使用相同的索引键,是会出现锁冲突的。应用设计的时候要注意这一点。 (3)当表有多个索引的时候,不同的事务可以使用不同的索引锁定不同的行,另外,不论是使用主键索引、唯一索引或普通索引,InnoDB都会使用行锁来对数据加锁。 (4)即便在条件中使用了索引字段,但是否使用索引来检索数据是由MySQL通过判断不同执行计划的代价来决 定的,如果MySQL认为全表扫描效率更高,比如对一些很小的表,它就不会使用索引,这种情况下InnoDB将使用表锁,而不是行锁。因此,在分析锁冲突 时,别忘了检查SQL的执行计划,以确认是否真正使用了索引
当我们用范围条件而不是相等条件检索数据,并请求共享或排他锁时,InnoDB会给符合条件的已有数据记录的 索引项加锁;对于键值在条件范围内但并不存在的记录,叫做“间隙(GAP)”,InnoDB也会对这个“间隙”加锁,这种锁机制就是所谓的间隙锁 (Next-Key锁)
举例来说,假如emp表中只有101条记录,其empid的值分别是 1,2,…,100,101,下面的SQL:
Select * from emp where empid > 100 for update;是一个范围条件的检索,InnoDB不仅会对符合条件的empid值为101的记录加锁,也会对empid大于101(这些记录并不存在)的“间隙”加锁。
InnoDB使用间隙锁的目的
防止幻读,以满足相关隔离级别的要求,对于上面的例子,要是不使 用间隙锁,如果其他事务插入了empid大于100的任何记录,那么本事务如果再次执行上述语句,就会发生幻读;为了满足其恢复和复制的需要例子: 初始数据
mysql> select * from i; +----+---------+ | id | name | +----+---------+ | 1 | hqq | | 2 | heechul | | 3 | leslie | | 4 | jack | +----+---------+ 4 rows in set (0.00 sec)首先我们使用事务A对id>4的记录加锁
mysql> set autocommit=0; Query OK, 0 rows affected (0.00 sec) mysql> select id,name from i where id>4 for update; Empty set (0.00 sec)此时开启是事务B插入一条ID为5的数据
mysql> insert into i(id,name) values(5,'next-key');产生了阻塞 原因是对id>4的间隙数据都加上了锁。我们现在回滚事务A
mysql> rollback; Query OK, 0 rows affected (0.00 sec)发现事务B插入的数据就成功了
mysql> insert into i(id,name) values(5,'next-key'); Query OK, 1 row affected (42.11 sec)MySQL通过BINLOG录执行成功的INSERT、UPDATE、DELETE等更新数据的SQL语句, 并由此实现MySQL数据库的恢复和主从复制
MySQL的恢复机制(复制其实就是在Slave Mysql不断做基于BINLOG的恢复)有以下特点:
一是MySQL的恢复是SQL语句级的,也就是重新执行BINLOG中的SQL语句。这与Oracle数据库不同,Oracle是基于数据库文件块的。二是MySQL的Binlog是按照事务提交的先后顺序记录的,恢复也是按这个顺序进行的。这点也与Oralce不同,Oracle是按照系统更新号 (System Change Number,SCN)来恢复数据的,每个事务开始时,Oracle都会分配一个全局唯一的SCN,SCN的顺序与事务开始的时间顺序是一致的。从上面两点可知,MySQL的恢复机制要求:在一个事务未提交前,其他并发事务不能插入满足其锁定条件的任何记录,也就是不允许出现幻读,这已经超过了ISO/ANSI SQL92“可重复读”隔离级别的要求,实际上是要求事务要串行化。这也是许多情况下,InnoDB要用到间隙锁的原因,比如在用范围条件更新记录时,无论在Read Commited或是Repeatable Read隔离级别下,InnoDB都要使用间隙锁,但这并不是隔离级别要求的
注意: insert into target_tab select * from source_tab where ... 和 create table new_tab ...select ... From source_tab where ...(CTAS)这种SQL语句,用户并没有对source_tab做任何更新操作,但MySQL对这种SQL语句做了特别处理,会给source_tab加锁
在InnoDB中使用表锁要注意的情况:
使用LOCK TABLES虽然可以给InnoDB加表级锁,但必须说明的是,表锁不是由InnoDB存储引擎层管理的,而是由其上一层──MySQL Server负责的,仅当autocommit=0、innodb_table_locks=1(默认设置)时,InnoDB层才能知道MySQL加的表锁,MySQL Server也才能感知InnoDB加的行锁,这种情况下,InnoDB才能自动识别涉及表级锁的死锁;否则,InnoDB将无法自动检测并处理这种死锁在用 LOCK TABLES对InnoDB表加锁时要注意,要将AUTOCOMMIT设为0,否则MySQL不会给表加锁.事务结束前,不要用UNLOCK TABLES释放表锁,因为UNLOCK TABLES会隐含地提交事务;COMMIT或ROLLBACK并不能释放用LOCK TABLES加的表级锁,必须用UNLOCK TABLES释放表锁 SET AUTOCOMMIT=0; LOCK TABLES t1 WRITE, t2 READ, ...; [do something with tables t1 and t2 here]; COMMIT; UNLOCK TABLES;发生死锁时,InnoDB一般都能自动检测到,并使一个事务释放锁并回退,另一个事务获得锁,继续完成事务。 但在涉及外部锁,或涉及表锁的情况下,InnoDB并不能完全自动检测到死锁,这需要通过设置锁等待超时参数 innodb_lock_wait_timeout来解决
需要说明的是,这个参数并不是只用来解决死锁问题,在并发访问比较高的情况下,如果大量事务因 无法立即获得所需的锁而挂起,会占用大量计算机资源,造成严重性能问题,甚至拖跨数据库。我们通过设置合适的锁等待超时阈值,可以避免这种情况发生。、
几种避免死锁的方法
(1)在应用中,如果不同的程序会并发存取多个表,应尽量约定以相同的顺序来访问表,这样可以大大降低产生死锁的机会。在下面的例子中,由于两个session访问两个表的顺序不同,发生死锁的机会就非常高!但如果以相同的顺序来访问,死锁就可以避免。
(2)在程序以批量方式处理数据的时候,如果事先对数据排序,保证每个线程按固定的顺序来处理记录,也可以大大降低出现死锁的可能。
(3)在事务中,如果要更新记录,应该直接申请足够级别的锁,即排他锁,而不应先申请共享锁,更新时再申请排他锁,因为当用户申请排他锁时,其他事务可能又已经获得了相同记录的共享锁,从而造成锁冲突,甚至死锁
(4)前面讲过,在REPEATABLE-READ隔离级别下,如果两个线程同时对相同条件记录用SELECT…FOR UPDATE加排他锁,在没有符合该条件记录情况下,两个线程都会加锁成功。程序发现记录尚不存在,就试图插入一条新记录,如果两个线程都这么做,就会出现死锁。这种情况下,将隔离级别改成READ COMMITTED,就可避免问题
(5)当隔离级别为READ COMMITTED时,如果两个线程都先执行SELECT…FOR UPDATE,判断是否存在符合条件的记录,如果没有,就插入记录。此时,只有一个线程能插入成功,另一个线程会出现锁等待,当第1个线程提交后,第2个 线程会因主键重出错,但虽然这个线程出错了,却会获得一个排他锁!这时如果有第3个线程又来申请排他锁,也会出现死锁。 对于这种情况,可以直接做插入操作,然后再捕获主键重异常,或者在遇到主键重错误时,总是执行ROLLBACK释放获得的排他锁
如果出现死 锁,可以用SHOW INNODB STATUS命令来确定最后一个死锁产生的原因。返回结果中包括死锁相关事务的详细信息,如引发死锁的SQL语句,事务已经获得的锁,正在等待什么锁,以 及被回滚的事务等。据此可以分析死锁产生的原因和改进措施。
总结: 对于MyISAM的表锁,主要讨论了以下几点:
(1)共享读锁(S)之间是兼容的,但共享读锁(S)与排他写锁(X)之间,以及排他写锁(X)之间是互斥的,也就是说读和写是串行的。(2)在一定条件下,MyISAM允许查询和插入并发执行,我们可以利用这一点来解决应用中对同一表查询和插入的锁争用问题。(3)MyISAM默认的锁调度机制是写优先,这并不一定适合所有应用,用户可以通过设置LOW_PRIORITY_UPDATES参数,或在INSERT、UPDATE、DELETE语句中指定LOW_PRIORITY选项来调节读写锁的争用。(4)由于表锁的锁定粒度大,读写之间又是串行的,因此,如果更新操作较多,MyISAM表可能会出现严重的锁等待,可以考虑采用InnoDB表来减少锁冲突。对于InnoDB的表锁,主要讨论了以下几点:
InnoDB的行锁是基于锁引实现的,如果不通过索引访问数据,InnoDB会使用表锁。介绍了InnoDB间隙锁(Next-key)机制,以及InnoDB使用间隙锁的原因。在不同的隔离级别下,InnoDB的锁机制和一致性读策略不同。MySQL的恢复和复制对InnoDB锁机制和一致性读策略也有较大影响。锁冲突甚至死锁很难完全避免。在了解InnoDB锁特性后,用户可以通过设计和SQL调整等措施减少锁冲突和死锁,包括:
尽量使用较低的隔离级别;精心设计索引,并尽量使用索引访问数据,使加锁更精确,从而减少锁冲突的机会;选择合理的事务大小,小事务发生锁冲突的几率也更小;给记录集显示加锁时,最好一次性请求足够级别的锁。比如要修改数据的话,最好直接申请排他锁,而不是先申请共享锁,修改时再请求排他锁,这样容易产生死锁;不同的程序访问一组表时,应尽量约定以相同的顺序访问各表,对一个表而言,尽可能以固定的顺序存取表中的行。这样可以大大减少死锁的机会;尽量用相等条件访问数据,这样可以避免间隙锁对并发插入的影响;不要申请超过实际需要的锁级别;除非必须,查询时不要显示加锁;对于一些特定的事务,可以使用表锁来提高处理速度或减少死锁的可能。