Mysql性能调优(八)

前言

上一篇文章我们介绍了SQL优化，包括优化insert语句、优化order by语句、filesort优化、优化group by语句、优化嵌套查询、优化or条件、优化分页查询、使用SQL提示。本文给大家介绍应用的优化、mysql中查询缓存优化、mysql中内存管理优化以及mysql的并发参数调整。接下来我们首先给大家介绍应用优化。

一、应用优化

在前面的很多的文章给大家介绍很多关于数据库优化的措施，包括对索引的优化、SQL优化。但是在实际的生产环境中，由于数据库本身的性能局限，就必须要对前台的应用进行一些优化，来降低数据库的访问压力。

1.1 使用连接池

对于访问数据库来说，建立连接的代价是比较昂贵的，因为我们频繁的创建关闭连接，是比较耗费的资源的，我们有必要建立数据库连接池，以提高访问性能。

1.2 减少对MySQL的访问

1.2.1 避免对数据进行重复检索

在编写应用代码的时候，需要能够理清对数据库的访问逻辑。能够一次连接就获取到结果的，就不用两次连接，这样就可以大大减少对数据库无用的重复请求。我们以需要获取书籍的id和name字段，则查询的代码如下：

select id, name from tb_book;

之后，在业务逻辑中有需要获取到书籍状态信息，则查询如下：

select id, status from tb_book;

这样，就需要向数据库提交两次请求，数据库就要做两次查询操作。其实完全可以用一条SQL语句得到想要的结果。则实现如下：

select id, name, status from tb_book;

1.2.2 增加cache层

在应用中，我们可以在应用中增加缓冲层来达到减轻数据库负担的目的。缓冲层有多种，也有很多实现的方式，只要能达到降低数据库的负担又能满足应用需求就可以。因此，可以部分数据从数据库中抽离出来放到应用端以文本方式存储，或者使用框架(Mybatis, Hibernate)提供的一级缓存/二级缓存，或者使用redis数据库来缓存数据。

1.3 负载均衡

负载均衡是应用中使用非常普遍的一种优化方式，它的机制就是利用某种均衡算法，将固定的负载量分布到不同的服务器上，以此来降低单台服务器的负载，来达到优化的效果。

1.3.1 利用MySQL复制分流查询

通过MySQL的主从复制，实现读写分离，使增删改查操作走主节点，查询操作走从节点，从而可以降低单台服务器的读写能力。具体的架构图如图所示：

1.3.2 采用分布式数据库架构

分布式数据库架构适合大数据量、负载高的情况，它有良好的拓展性和高可用性。通过在多台服务器之间分布数据，可以实现在多台服务器之间的负载均衡，提高服务效率。

二、MySQL中查询缓存优化

开启mysql的查询缓存，当执行完全相同的SQL语句的时候，服务器就会直接从缓存中读取结果，当数据被修改，之前的缓存会失效，修改比较频繁的表不适合做查询缓存。具体优化的过程如下：

1、客户端发送一条查询给服务器；

2、服务器发送一条查询，如果命中了缓存，则立即返回存储在缓存中的结果。否则进入下一个阶段。

3、服务器端进行SQL解析、预处理，再由优化器生成对应的执行计划

4、MySQL根据优化器生成的执行计划，调用存储引擎的API来执行查询

5、将结果返回客户端。

2.1 查询缓存配置

1、查看当前的MySQL数据库是否支持查询缓存，具体代码如下：

show variables like 'have_query_cache';

执行的效果如图所示：

2、查看当前MySQL是否开启了查询缓存

show variables like 'query_cache_type';

执行的效果如图所示：

3、查看查询缓存的占用大小

show variables like 'query_cache_size';

执行的效果如图所示：

4、查看查询缓存的状态变量

show status like 'Qcache%';

执行的效果如图所示：

我们从上面的执行效果中可以看到很多的专业术语，接下来给大家逐一介绍：

Qcache_free_blocks：查询缓存中可用内存块数

Qcache_free_memory：查询缓存的可用内存量

Qcache_hits：查询缓存命中数

Qcache_inserts：添加到查询缓存的查询数

Qcache_lowmen_prunes：由于内存不足从而查询缓存中删除的查询数

Qcache_not_cached：非缓存查询的数量(由于query_cache_type设置而无法缓存或未缓存)

Qcache_queries_in_cache：查询缓存中注册的查询数

Qcache_total_blocks：查询缓存中的块总数

2.2 开启查询缓存

MySQL的查询缓存默认是关闭的，需要手动配置参数query_cache_type，来开启查询缓存。query_cache_type该参数的可取值有三个，具体如下：

在/usr/my.cnf配置中，增加以下的配置：

query_cache_type=1;

具体执行效果如下：

配置完毕后，重启即可生效；然后就可以在命令行执行SQL语句进行验证，执行一条比较耗时的SQL语句，然后再多执行几次，查看后面几次的执行时间；获取通过查看查询缓存的缓存命中数，来判定是否走查询缓存。

2.3 查询缓存select选项

可以在select语句中指定两个与查询缓存相关的选项：

SQL_CACHE：如果查询结果是可缓存的，并且用query_cache_type系统变量的值为ON或DEMAND，则缓存查询结果。

SQL_NO_CACHE：服务器不使用查询缓存。它既不检查查询缓存，也不检查结果是否已缓存，也不缓存查询结果。

select SQL_CACHE id, name from customer;
select SQL_NO_CACHE, id, name from customer;

2.4 查询缓存失效的情况

1、SQL不一致的情况，要想命中查询缓存，查询的SQL语句必须一致。

SQL1:select count(*) from tb_item;
SQL2:select count(*) from tb_item;

2、当查询语句中有一些不确定时，则不会缓存。 例如：now()、current_date()、curdate()、rand()、uuid()、user()、database()；

SQL1:select count(*) from tb_item where updatatime < now() limit 1;
SQL2：select user();
SQL3：select database();

3、不使用任何表查询语句

select 'A';

4、查询mysql，information_schema或performance_schema数据库中的表时，不会走查询缓存

select * from information_schema;

5、在存储的函数，触发器或事件的主体内执行查询。
6、如果表更改，则使用该表的所有高速缓存查询都将变为无效并从高速缓存中删除。 这包括使用MERGE映射到已更改表的查询。一个表可以被许多类型的语句，如被改变INSERT、UPDATE、DELETE、TRUNCATE TABLE、ALTER TABLE、DROP TABLE或DROP DATABASE。

三、MySQL内存管理及优化

3.1 内存优化原则

1、将尽量多的内存分配给MySQL做缓存，但要给操作系统和其他程序预留足够内存。
2、MyISAM存储引擎的数据文件读取依赖于操作系统自身的IO缓存，因此，如果有MyIsam表，就要预留更多的内存给操作系统做IO缓存。
3、排序区、连接区等缓存区是分配给每个数据库会话(session)专用的，其默认值的设置要根据最大连接数合理分配，如果设置太大，不但浪费资源，而且还并发连接较高时会导致物理内存耗尽。

3.2 MyISAM内存优化

MyISAM存储引擎使用key_buffer缓存索引块，加速MyISAM索引的读写速度。对于MyISAM表的数据块。MySQL没有特别的缓存机制，完全依赖于操作系统的IO缓存。

key_buffer_size
key_buffer_size决定MyISAM索引块缓存大小，直接影响到MyISAM表的存取效率。可以在MySQL参数文件中设置key_buffer_size的值，对于一般的MyISAM数据库，建议至少将1/4可用内存分配给key_buffer_size。我们在/usr/my.cnf中作如下配置：

key_buffer_size=512M;

read_buffer_size
如果需要经常顺序扫描MyISAM表，可以通过增大read_buffer_size的值来改善性能。但需要注意的是read_buffer_size是每个session独占的，如果默认值设置太大，就会造成内存浪费。
read_rnd_buffer_size
对于需要做排序的MyISAM表的查询，如果带有order by子句的sql，适当增加read_rnd_buffer_size的值，可以改善此类的sql性能。但是需要注意的是read_rnd_buffer_size是每个session独占的，如果默认值设置太大，就会造成内存浪费。

3.3 InnoDB内存优化

InnoDB用一块内存区做IO缓存池，该缓存池不经用来缓存InnoDB的索引块，而且也用来缓存InnoDB的数据块。

innodb_buffer_pool_size
该变量决定了InnoDB存储引擎表数据和索引数据的最大缓存区大小。在保证操作系统及其他程序you足够内存可用的情况下，innodb_buffer_pool_size的值越大，缓存命中率越高，访问InnoDB表需要的磁盘I/O就越少，性能也就越高。

innodb_buffer_pool_size=512M;

innodb_log_buffer_size
决定了innodb重要日志缓存大小，对于可能产生大量更新记录的大事务，增加innodb_log_buffer_size的大小，可以避免innodb在事务提交前就执行不必要的日志写入磁盘操作。

innodb_log_buffer_size=10M;

四、 MySQL并发参数调整

实际上来说，MySQL Server 是多线程结构，包括后台线程和客户服务线程。多线程可以有效利用服务器资源，提高数据库的并发性能。在MySQL中，控制并发连接和线程主要参数包括max_connections、back_log、thread_cache_size、table_open_cache。
采用max_connections控制允许连接到MySQL数据库的最大数量，默认值是151。如果状态变量是connection_errors_max_connections下为0，并且一直增长，则说明不断有连接请求因数据库连接数已达到允许最大值而失败，这就可以考虑增大max_connections的值。
MySQL最大可能支持的连接数，取决于很多因素，包括给定操作系统平台的线程库的质量、内存大小、每个连接负荷、CPU处理速度，期望的响应时间等。在Linux平台下，性能好的服务器，支持500-1000个连接不是难事，需要根据服务器性能进行评估设定。
back_log参数控制MySQL监听TCP端口时设置的积压请求栈大小。如果MySQL的连接数达到max_connections时，新来的请求将会被存在堆栈中，以等待某一连接释放资源，该堆栈的数量即back_log，如果等待连接的数量超过back_log，将不被授予连接资源，将会报错。5.6.6版本之前默认值为50，之后的版本默认为50+(max_connections/5)，但是最大不超过900。如果需要数据库在较短的时间内处理大量连接请求，可以考虑适当增大back_log的值。
该参数用来控制所有SQL语句执行线程可打开表缓存的数量，而在执行SQL语句时，每一个SQL执行线程至少要打开1个表缓存。该参数的值应该根据设置最大连接数max_connections以及每个连接执行关联查询中涉及的表的最大数量来设定：

max connections x N;

为了加快连接数据库的速度，MySQL或缓存一定数量的客户服务线程已备重用，通过参数thread_cache_size可控制MySQL缓存客户服务线程的数量。
该参数是用来设置InnoDB事务等待行锁的时间，默认值是50ms，可以根据需要进行动态设置。对于需要快速反馈的业务系统来说，可以将行锁的等待时间调小，以避免事务长时间挂起；对于后台运行的批量处理程序来说，可以将行锁的等待时间调大，以避免发生大的回滚操作。

总结

上一篇文章我们介绍了SQL优化，包括优化insert语句、优化order by语句、filesort优化、优化group by语句、优化嵌套查询、优化or条件、优化分页查询、使用SQL提示。本文给大家介绍了应用的优化、mysql中查询缓存优化、mysql中内存管理优化以及mysql的并发参数调整。接下来我们首先给大家介绍应用优化。因此，mysql是很重要的一个技能，几乎计算机中的每个岗位都需要一个mysq技能，因此，需要我们特别的掌握。生命不息，奋斗不止，我们每天努力，好好学习，不断提高自己的能力，相信自己一定会学有所获。加油！！！最后由于参加一个活动，这是我的专属链接https://lbs.qq.com?lbs_invite=HZZRFLH。

前言