MySQL优化步骤(四)-应用优化及锁

一、应用优化

前面记录了对SQL语句的一些优化，但是由于MySQL数据库本身的一些局限性能局限，对连接数据库的一些应用同样应该做一些优化。

1.1、使用数据库连接池

对于访问数据库来说，建立连接的代价是比较昂贵的，因为我们频繁的创建关闭连接，是比较耗费资源的，我们有必要建立数据库连接池，以提高访问的性能。同时数据库连接池也能很好的帮我们控制连接的数量防止产生过多的连接。

1.2、减少对MySQL的访问

编写应用代码时，需要能够理清对数据库的访问逻辑。能够一次连接就获取到结果的，就不用两次连接，这样可以大大减少对数据库无用的重复请求。
对于一些热点数据我们可以在应用层增加缓存层达到减轻数据库负担的目的，例如redis。
负载均衡数据库，通过MySQL的主从复制，实现读写分离，使增删改操作走主节点，读取操作走从节点。

二、对MySQL查询缓存的优化

开启Mysql的查询缓存，当执行完全相同的SQL语句的时候，服务器就会直接从缓存中读取结果，当数据被修改，之前的缓存会失效，修改比较频繁的表不适合做查询缓存。

SQL查询流程如下:

20180919131632347

客户端发送一条查询给服务器；
服务器先会检查查询缓存，如果命中了缓存，则立即返回存储在缓存中的结果。否则进入下一阶段；
服务器端进行SQL解析、预处理，再由优化器生成对应的执行计划；
MySQL根据优化器生成的执行计划，调用存储引擎的API来执行查询；
将结果返回给客户端。

2.1、查询缓存配置

查看当前的MySQL数据库是否支持查询缓存
```
SHOW VARIABLES LIKE 'have_query_cache';	
```
查看是否开启了查询缓存
```
SHOW VARIABLES LIKE 'query_cache_type';
```
mysql默认是没有开启查询缓存的
查看查询缓存的大小
```
SHOW VARIABLES LIKE 'query_cache_size';
```
默认是1048576B=1204KB=1M

查看查询缓存的状态变量：

SHOW STATUS LIKE 'Qcache%';

各个变量的含义如下：

参数	含义
Qcache_free_blocks	查询缓存中的可用内存块数
Qcache_free_memory	查询缓存的可用内存量
Qcache_hits	查询缓存命中数
Qcache_inserts	添加到查询缓存的查询数
Qcache_lowmen_prunes	由于内存不足而从查询缓存中删除的查询数
Qcache_not_cached	非缓存查询的数量（由于 query_cache_type 设置而无法缓存或未缓存）
Qcache_queries_in_cache	查询缓存中注册的查询数
Qcache_total_blocks	查询缓存中的块总数

开启查询缓存

MySQL的查询缓存默认是关闭的，需要手动配置参数 query_cache_type ，来开启查询缓存。query_cache_type 该参数的可取值有三个：

值	含义
OFF 或 0	查询缓存功能关闭
ON 或 1	查询缓存功能打开，SELECT的结果符合缓存条件即会缓存，否则，不予缓存，显式指定 SQL_NO_CACHE，不予缓存
DEMAND 或 2	查询缓存功能按需进行，显式指定 SQL_CACHE 的SELECT语句才会缓存；其它均不予缓存

在配置文件中[mysqld]下面开启查询缓存并重启服务

-- 开启查询缓存
query_cache_type=1

验证查询缓存

第一次查询耗时1.90秒

第二次和第三次查询基本没有耗时

如果配置文件中query_cache_type=2或者是DEMAND ,则需要显示指定哪些查询语句需要缓存

-- 进行缓存
select SQL_CACHE * from tb_user;
-- 不进行缓存
select SQL_NO_CACHE * from tb_user;

2.2、查询缓存失效

SQL 语句不一致的情况，要想命中查询缓存，查询的SQL语句必须一致(大小写都要一样)。
当查询语句中有一些不确定的时，则不会缓存。如： now() , current_date() , curdate() , curtime() , rand() , uuid() , user() , database()
查询 mysql， information_schema或 performance_schema 数据库中的表时，不会走查询缓存。
在存储的函数，触发器或事件的主体内执行的查询,不会走查询缓存。
如果表更改，则使用该表的所有高速缓存查询都将变为无效并从高速缓存中删除。这包括使用MERGE映射到已更改表的表的查询。一个表可以被许多类型的语句，如被改变 INSERT， UPDATE， DELETE， TRUNCATE TABLE， ALTER TABLE， DROP TABLE，或 DROP DATABASE 。
类似于select 'user’这种语句不会走查询缓存

三、Mysql内存管理及优化

3.1、内存优化原则

将尽量多的内存分配给MySQL做缓存，但要给操作系统和其他程序预留足够内存。
MyISAM 存储引擎的数据文件读取依赖于操作系统自身的IO缓存，因此，如果有MyISAM表，就要预留更多的内存给操作系统做IO缓存。
排序区、连接区等缓存是分配给每个数据库会话（session）专用的，其默认值的设置要根据最大连接数合理分配，如果设置太大，不但浪费资源，而且在并发连接较高时会导致物理内存耗尽。

3.2、MyISAM 内存优化

MyISAM存储引擎使用 key_buffer 缓存索引块，速MyISAM索引的读写速度。对于MyISAM表的数据块，mysql没有特别的缓存机制，完全依赖于操作系统的IO缓存。

key_buffer_size：

key_buffer_size决定MyISAM索引块缓存区的大小，直接影响到MyISAM表的存取效率。可以在MySQL参数文件中设置key_buffer_size的值，对于一般MyISAM数据库，建议至少将1/4可用内存分配给key_buffer_size。
read_buffer_size：

如果需要经常顺序扫描myisam表，可以通过增大read_buffer_size的值来改善性能。但需要注意的是read_buffer_size是每个session独占的，如果默认值设置太大，就会造成内存浪费。
read_rnd_buffer_size：

对于需要做排序的myisam表的查询，如带有order by子句的sql，适当增加 read_rnd_buffer_size 的值，可以改善此类的sql性能。但需要注意的是 read_rnd_buffer_size 是每个session独占的，如果默认值设置太大，就会造成内存浪费。

3.3、InnoDB内存优化

InnoDB用一块内存区做IO缓存池，该缓存池不仅用来缓存InnoDB的索引块，而且也用来缓存InnoDB的数据块。

innodb_buffer_pool_size

该变量决定了 innodb 存储引擎表数据和索引数据的最大缓存区大小。在保证操作系统及其他程序有足够内存可用的情况下，innodb_buffer_pool_size 的值越大，缓存命中率越高，访问InnoDB表需要的磁盘I/O 就越少，性能也就越高。
```
show variables like '%innodb_buffer_pool_size%';
```

默认大小是128M

innodb_log_buffer_size

决定了innodb重做日志缓存的大小，对于可能产生大量更新记录的大事务，增加innodb_log_buffer_size的大小，可以避免innodb在事务提交前就执行不必要的日志写入磁盘操作。
```
show variables like '%innodb_log_buffer_size%'
```
默认大小16M。

四、MySQL并发参数调整

从实现上来说，MySQL Server 是多线程结构，包括后台线程和客户服务线程。多线程可以有效利用服务器资源，提高数据库的并发性能。在Mysql中，控制并发连接和线程的主要参数包括 max_connections、back_log、thread_cache_size、table_open_cahce。

max_connections

max_connections 控制允许连接到MySQL数据库的最大数量,Linux下默认值是151，windows下是20，如果状态变量 connection_errors_max_connections 不为零，并且一直增长，则说明不断有连接请求因数据库连接数已达到允许最大值而失败，这是可以考虑增大max_connections 的值。
```
show variables like '%max_connections%';
```
back_log

back_log 参数控制MySQL监听TCP端口时设置的积压请求栈大小。如果MySql的连接数达到max_connections时，新来的请求将会被存在堆栈中，以等待某一连接释放资源，该堆栈的数量即back_log，如果等待连接的数量超过back_log，将不被授予连接资源，将会报错。5.6.6 版本之前默认值为 50 ，之后的版本默认为 50 + （max_connections / 5），但最大不超过900。如果需要数据库在较短的时间内处理大量连接请求，可以考虑适当增大back_log 的值。
```
show variables like '%back_log%';
```
table_open_cache

该参数用来控制所有SQL语句执行线程可打开表缓存的数量，而在执行SQL语句时，每一个SQL执行线程至少要打开 1 个表缓存。该参数的值应该根据设置的最大连接数 max_connections 以及每个连接执行关联查询中涉及的表的最大数量来设定
```
show variables like '%table_open_cache%';
```
table_open_cache_instances=16,可能是因为这个数据库下有16张表吧.
thread_cache_size

为了加快连接数据库的速度，MySQL 会缓存一定数量的客户服务线程以备重用，通过参数 thread_cache_size 可控制 MySQL 缓存客户服务线程的数量。(连接池)
```
show variables like '%thread_cache_size%';
```
innodb_lock_wait_timeout

该参数是用来设置InnoDB 事务等待行锁的时间，默认值是50ms ，可以根据需要进行动态设置。对于需要快速反馈的业务系统来说，可以将行锁的等待时间调小，以避免事务长时间挂起；对于后台运行的批量处理程序来说，可以将行锁的等待时间调大，以避免发生大的回滚操作。
```
show variables like '%innodb_lock_wait_timeout%';
```

五、Mysql锁

锁是计算机协调多个进程或线程并发访问某一资源的机制（避免争抢）。

在数据库中，除传统的计算资源（如 CPU、RAM、I/O 等）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。

5.1、锁分类

从数据操作的粒度分:

表锁：操作时，会锁正个表
行锁：操作时，会锁定当前行

从对数据操作的类型分：

读锁（共享锁）：针对同一份数据，多个读操作可以同时进行而不会互相影响。
写锁（排它锁）：当前操作没有完成之前，它会阻断其他写锁和读锁。

5.2、存储引擎对锁的支持

存储引擎	表级锁	行级锁	页面锁
MyISAM	支持	不支持	不支持
InnoDB	支持	支持	不支持
MEMORY	支持	不支持	不支持
BDB	支持	不支持	支持

MyISAM只支持表级锁，InnoDB支持表级锁和行级锁

MySQL这3种锁的特性可大致归纳如下：

锁类型	特点
表级锁	偏向MyISAM 存储引擎，开销小，加锁快；不会出现死锁；锁定粒度大，发生锁冲突的概率最高,并发度最低。
行级锁	偏向InnoDB 存储引擎，开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低,并发度也最高。
页面锁	开销和加锁时间界于表锁和行锁之间；会出现死锁；锁定粒度界于表锁和行锁之间，并发度一般。

仅从锁的角度来说：表级锁更适合于以查询为主，只有少量按索引条件更新数据的应用，如Web 应用；而行级锁则更适合于有大量按索引条件并发更新少量不同数据，同时又有并查询的应用，如一些在线事务处理（OLTP）系统。

5.3、MyISAM表锁

MyISAM 在执行查询语句（SELECT）前，会自动给涉及的所有表加读锁，在执行更新操作（UPDATE、DELETE、INSERT 等）前，会自动给涉及的表加写锁，这个过程并不需要用户干预，因此，用户一般不需要直接用 LOCK TABLE 命令给 MyISAM 表显式加锁。

-- 加读锁,local选项的作用是在满足MyISAM表并发插入的条件情况下，允许其他用户在表尾插入数据
lock table table_name read [local];

-- 加写锁
lock table table_name write；
-- 可以同时对多个表加锁
-- 释放锁
unlock tables;

注意MyISAM表的并发插入需要将系统变量concurrent_insert置为1或者2；

concurrent_insert=0：不允许并发插入
concurrent_insert=1(默认)：如果MyISAM表中没有空洞(表的中间没有被删除的行)允许并发插入。
concurrent_insert=0：无论存不存在空洞都允许并发插入

环境准备:

create database myisam_lock default charset=utf8mb4;

use myisam_lock;

CREATE TABLE `tb_book` (
  `id` INT(11) auto_increment,
  `name` VARCHAR(50) DEFAULT NULL,
  `publish_time` DATE DEFAULT NULL,
  `status` CHAR(1) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=myisam DEFAULT CHARSET=utf8 ;

INSERT INTO tb_book (id, name, publish_time, status) VALUES(NULL,'java编程思想','2088-08-01','1');
INSERT INTO tb_book (id, name, publish_time, status) VALUES(NULL,'solr编程思想','2088-08-08','0');



CREATE TABLE `tb_user` (
  `id` INT(11) auto_increment,
  `name` VARCHAR(50) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=myisam DEFAULT CHARSET=utf8 ;

INSERT INTO tb_user (id, name) VALUES(NULL,'令狐冲');
INSERT INTO tb_user (id, name) VALUES(NULL,'田伯光');

写锁案列:

客户端1：

获取tb_book表的读锁

查询tb_book表成功

查询tb_user表失败，原因是没有获取到tb_user的读锁

向tb_book插入数据失败，原因是当前表是读锁，不是写锁

释放锁

客户端2：

查询tb_book表，可以正常查询，但是插入数据收到阻塞

客户端释放掉读锁后，客户端2成功插入数据

读锁案例:

会话1给tb_book上写锁

此时由于会话1还没有任何操作，会话二还可以读取数据;

此时会话一修改了一条数据，但是还没有释放锁

会话二再次读取数据被阻塞

会话一虽然获取到的是写锁，但一样可以读数据

会话一释放锁

会话二成功执行查询操作，可以看到，会话二被阻塞了2分钟

总结：对于MyISAM锁表，读锁会阻塞其它会话对当前表的写操作，但不会阻塞读操作，写锁会阻塞其它会话对当前表的读和写操作

此外，MyISAM 的读写锁调度是写优先，这也是MyISAM不适合做写为主的表的存储引擎的原因。因为写锁后，其他线程不能做任何操作，大量的更新会使查询很难得到锁，从而造成永远阻塞。

我们可以通过以下指令查看表的上锁信息

show open tables;

show open tables;

Database：数据库名
Table：表名
In_user : 表当前被查询使用的次数。如果该数为零，则表是打开的，但是当前没有被使用。
Name_locked：表名称是否被锁定。名称锁定用于取消表或对表进行重命名等操作。

当我们锁住表时is_use被置1

show status like ‘Table_locks%’;

-- 查看表锁争用状态
show status like 'Table_locks%';

Table_locks_immediate ：指的是能够立即获得表级锁的次数，每立即获取锁，值加1。
Table_locks_waited ：指的是不能立即获取表级锁而需要等待的次数，每等待一次，该值加1，此值高说明存在着较为严重的表级锁争用情况。

5.4、InnoDB行锁

偏向InnoDB 存储引擎，开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低,并发度也最高。

InnoDB与MyISAM其中的两个不同点就是：

一是InnoDB支持事务,MyISAM不支持事务
二是InnoDB支持行锁，且默认是行锁，MyISAM只支持表锁，不支持行锁。

5.4.1、事务的特性

事务是由一组SQL语句组成的逻辑处理单元，要么同时成功，要么同时失败。

事务具有ACID四个特性

ACID属性	含义
原子性（Atomicity）	事务是一个原子操作单元，其对数据的修改，要么全部成功，要么全部失败。
一致性（Consistent）	在事务开始和完成时，数据都必须保持一致状态。
隔离性（Isolation）	数据库系统提供一定的隔离机制，保证事务在不受外部并发操作影响的 “独立” 环境下运行。
持久性（Durable）	事务完成之后，对于数据的修改是永久的。

对事务的操作:

-- 开启事务
start transaction;
--关闭自动提交
set autocommit = 0;
-- 事务回滚
rollback;
-- 提交事务
commit;

5.4.2、事务的隔离级别

多个事务之间隔离的，相互独立的。但是如果多个事务操作同一批数据，则会引发一些问题，设置不同的隔离级别就可以解决这些问题。

事务具有的问题:

脏读：一个事务，读取到另一个事务中没有提交的数据
虚读(不可重复读)：在同一个事务中，两次读取到的数据不一样。
幻读：一个事务操作(DML)数据表中所有记录，另一个事务添加了一条数据，则第一个事务查询不到自己的修改。

隔离级别	脏读	虚读(不可重复读)	幻读
Read uncommitted	√	√	√
Read committed	×	√	√
Repeatable read（默认）	×	×	√
Serializable	×	×	×

注意:隔离级别从小到大安全性越来越高，但是效率越来越低。Mysql默认的隔离级别是第三种可重复度(Repeatable read)

查看事务的隔离级别

show variables like 'tx_isolation';
select @@tx_isolation;

设置事务的隔离界别

set [global | session] transaction isolation level '隔离级别'

5.4.3、InnoDB 的行锁模式

InnoDB 实现了以下两种类型的行锁。

共享锁（S）：又称为读锁，简称S锁，共享锁就是多个事务对于同一数据可以共享一把锁，都能访问到数据，但是只能读不能修改。
排他锁（X）：又称为写锁，简称X锁，排他锁就是不能与其他锁并存，如一个事务获取了一个数据行的排他锁，其他事务就不能再获取该行的其他锁，包括共享锁和排他锁，但是获取排他锁的事务是可以对数据就行读取和修改。

对于UPDATE、DELETE和INSERT语句，InnoDB会自动给涉及数据集加排他锁（X)；对于普通SELECT语句，InnoDB不会加任何锁；事务可以通过以下语句显示给记录集加共享锁或排他锁：

-- 在5.7中
-- 加共享锁
select * from table_name where... lock in share mode; 
-- 加排他锁
select * from table_name where... for update; 
-- 在8.0中
-- 加共享锁
select * from table_name where... for share;
-- 加排他锁
select * from table_name where... for update [nowait | skip locked]

InnoDB行锁演示:

环境准备

create database innodb_lock;
use innodb_lock;
create table innodb_lock(
	id int(11),
	name varchar(16),
	sex varchar(1)
)engine = innodb default charset=utf8;

insert into test_innodb_lock values(1,'100','1');
insert into test_innodb_lock values(3,'3','1');
insert into test_innodb_lock values(4,'400','0');
insert into test_innodb_lock values(5,'500','1');
insert into test_innodb_lock values(6,'600','0');
insert into test_innodb_lock values(7,'700','0');
insert into test_innodb_lock values(8,'800','1');
insert into test_innodb_lock values(9,'900','1');
insert into test_innodb_lock values(1,'200','0');

create index idx_test_innodb_lock_id on test_innodb_lock(id);
create index idx_test_innodb_lock_name on test_innodb_lock(name);

开启两个mysql的会话并开启事务(start transaction可以省略 )。

上面四张图演示发现，两个会话读同一张表是不会阻塞的，即使读的是同一行。

上面两张图发现两个会话同时对一张表的不同行做写操作也不会阻塞

上面四张图的演示发现两个会话对同一张表的同一行的写操作发生了阻塞

以上结果的原因就在于，mysql的事务的隔离级别是可重复读，在一个事务中读不到其它事务的修改，无论是已提交的还是未提交的，必须等事务结束后才能看到其它事务更新的数据。而且在InnoDB引擎中，默认使用的是行锁，所以两个事务对不同的行写操作不会阻塞，而对同一行数据的写操作会发生阻塞。

InnoDB的锁升级:

InnoDB行锁是通过给索引上的索引项加锁来实现的，如果没有索引，InnoDB，将通过隐藏的聚簇索引来对记录加锁。

InnoDB行锁分3种情形：

Record lock：对索引项加锁
Gap lock：对索引项之间的间隙，第一条记录前的间隙或最后一条记录后的间隙加锁
Next-key lock(默认)：前两种的结合，对记录及其前面的间隙加锁

如果不通过索引条件检索数据，那么InnoDB将对表中的所有记录加锁，实际效果跟表锁一样。

查看innodb_lock当前存在的索引

show index from innodb_lock;

上面的演示出现了一个问题就是两个会话修改不同的行出现了阻塞，这是因为没有通过索引条件检索数据，导致innodb行锁升级为表锁。

Innodb的间隙锁：

当我们用范围条件，而不是使用相等条件检索数据，并请求共享或排他锁时，InnoDB会给符合条件的已有数据进行加锁；对于键值在条件范围内但并不存在的记录，叫做 “间隙（GAP）” ， InnoDB也会对这个 “间隙” 加锁，这种锁机制就是所谓的间隙锁（Next-Key锁）。

这里就不演示了。。。。

查看innodb的锁争用情况：

show  status like 'innodb_row_lock%';

各个属性的含义如下：

Innodb_row_lock_current_waits: 当前正在等待锁定的数量
Innodb_row_lock_time: 从系统启动到现在锁定总时间长度
Innodb_row_lock_time_avg:每次等待所花平均时长
Innodb_row_lock_time_max:从系统启动到现在等待最长的一次所花的时间
Innodb_row_lock_waits: 系统启动后到现在总共等待的次数

当等待的次数很高，而且每次等待的时长也不小的时候，我们就需要分析系统中为什么会有如此多的等待，然后根据分析结果着手制定优化计划。

InnoDB什么时候考虑使用表锁：

当事务需要更新大部分数据或全部数据，表又比较大，如果使用默认的行锁，不仅这个事务执行效率低，而且可能造成其他事务长时间所等待和锁冲突。这种情况可以考虑使用表锁
如果事务涉及多个表，比较复杂，很可能引起死锁，造成大量事务回滚，这种情况也可以考虑使用表锁。

当InnoDB使用表锁时需要注意一下两点：

仅当autocommit=0且innodb_table_locks=1;，InnoDB层才知道MySQL加的表锁
使用lock tables 对InnoDB表加锁时要注意，要将autocommit置为0，事务结束前，不要使用unlock tables释放锁，因为unlock tables 会隐含的提交事务，commit和rollback不会释放锁，所以需要先提交挥着回滚事务，才使用unlock tables 释放锁。

Innodb使用的建议:

尽可能让所有数据检索都能通过索引来完成，避免无索引行锁升级为表锁。
合理设计索引，尽量缩小锁的范围
尽可能减少索引条件，及索引范围，避免间隙锁
尽量控制事务大小，减少锁定资源量和时间长度
尽可使用低级别事务隔离（但是需要业务层面满足需求）