Linux高级篇--MYSQL数据库之索引管理、锁和事务管理以及日志管理

Linux高级篇–MYSQL数据库之索引管理、锁和事务管理以及日志管理

一、 优化查询和索引管理

MYSQL架构

查询的执行路径

查询缓存

• 查询缓存（ Query Cache ）原理
  缓存SELECT操作或预处理查询的结果集和SQL语句，当有新的SELECT语句或预处理查询语句请求，先去查询缓存，判断是否存在可用的记录集，判断标准：与缓存的SQL语句，是否完全一样，区分大小写
• 优缺点
  不需要对SQL语句做任何解析和执行，当然语法解析必须通过在先，直接从Query Cache中获得查询结果，提高查询性能
  查询缓存的判断规则，不够智能，也即提高了查询缓存的使用门槛，降低其效率；
  查询缓存的使用，会增加检查和清理Query Cache中记录集的开销
• 哪些查询可能不会被缓存
    查询语句中加了SQL_NO_CACHE参数
    查询语句中含有获得值的函数，包含自定义函数，如：NOW()
      CURDATE()、GET_LOCK()、RAND()、CONVERT_TZ()等
    对系统数据库的查询：mysql、information_schema 查询语句中使用SESSION级别变量或存储过程中的局部变量
    查询语句中使用了LOCK IN SHARE MODE、FOR UPDATE的语句，查询语句中类似SELECT …INTO 导出数据的语句
    对临时表的查询操作；存在警告信息的查询语句；不涉及任何表或视图的查询语句；某用户只有列级别权限的查询语句
    事务隔离级别为Serializable时，所有查询语句都不能缓存
• 查询缓存相关的服务器变量
    uery_cache_min_res_unit：查询缓存中内存块的最小分配单位，默认4k，较小值会减少浪费，但会导致更频繁的内存分配操作，较大值会带来浪费，会导致碎片过多，内存不足
    query_cache_limit：单个查询结果能缓存的最大值，默认为1M，对于查询结果过大而无法缓存的语句，建议使用SQL_NO_CACHE
    query_cache_size：查询缓存总共可用的内存空间；单位字节，必须是1024的整数倍，最小值40KB，低于此值有警报
    query_cache_wlock_invalidate：如果某表被其它的会话锁定，是否仍然可以从查询缓存中返回结果，默认值为OFF，表示可以在表被其它会话锁定的场景中继续从缓存返回数据；ON则表示不允许
    query_cache_type：是否开启缓存功能，取值为ON, OFF, DEMAND

MariaDB [hellodb]> show variables like '%query_cache%';
+------------------------------+---------+
| Variable_name                | Value   |
+------------------------------+---------+
| have_query_cache             | YES     |
| query_cache_limit            | 1048576 |  单个查询结果能缓存的最大值，即缓存中查询结果能分配到的空间最大值
| query_cache_min_res_unit     | 4096    |  缓存中内存块的最小分配单位：4K
| query_cache_size             | 0       |  查询缓存总共可用的内存空间
| query_cache_strip_comments   | OFF     |
| query_cache_type             | ON      |  是否开启缓存功能
| query_cache_wlock_invalidate | OFF     |  如果表被锁定，其他yoghurt是否可以从查询缓存中返回结果
+------------------------------+---------+
set global query_cache_size=10485760  更改缓存可用的内存空间为10M
vim /etc/my.cnf   在配置文件中更改此选项
set global query_cache_size=10M 

• SELECT语句的缓存控制
    SQL_CACHE：显式指定存储查询结果于缓存之中
    SQL_NO_CACHE：显式查询结果不予缓存
• query_cache_type参数变量
    query_cache_type的值为OFF或0时，查询缓存功能关闭
    query_cache_type的值为ON或1时，查询缓存功能打开，SELECT的结果符合缓存条件即会缓存，否则，不予缓存，显式指定SQL_NO_CACHE，不予缓存，此为默认值
    query_cache_type的值为DEMAND或2时，查询缓存功能按需进行，显式指定SQL_CACHE的SELECT语句才会缓存；其它均不予缓存
    参看：https://mariadb.com/kb/en/library/server-system-variables/#query_cache_type
    https://dev.mysql.com/doc/refman/5.7/en/query-cache-configuration.html
• 查询缓存相关的状态变量：SHOW GLOBAL STATUS LIKE ‘Qcache%’;
    Qcache_free_blocks：处于空闲状态 Query Cache中内存 Block 数
    Qcache_total_blocks：Query Cache 中总Block ，当Qcache_free_blocks相对此值较大时，可能用内存碎片，执行FLUSH QUERY CACHE清理碎片
    Qcache_free_memory：处于空闲状态的 Query Cache 内存总量
    Qcache_hits：Query Cache 命中次数
    Qcache_inserts：向 Query Cache 中插入新的 Query Cache 的次数，即没有命中的次数
    Qcache_lowmem_prunes：记录有多少条查询因为内存不足而被移除出查询缓存
    Qcache_not_cached：没有被 Cache 的 SQL 数，包括无法被 Cache 的 SQL 以及由于 query_cache_type 设置的不会被 Cache 的 SQL语句
    Qcache_queries_in_cache：在 Query Cache 中的 SQL 数量

MariaDB [hellodb]> show  status like 'qcache%';
+-------------------------+----------+
| Variable_name           | Value    |
+-------------------------+----------+
| Qcache_free_blocks      | 1        |  
| Qcache_free_memory      | 10222536 |
| Qcache_hits             | 0        |
| Qcache_inserts          | 0        |
| Qcache_lowmem_prunes    | 0        |
| Qcache_not_cached       | 0        |
| Qcache_queries_in_cache | 0        |
| Qcache_total_blocks     | 1        |
+-------------------------+----------+

命中率和内存使用率估算

• 查询缓存中内存块的最小分配单位
  query_cache_min_res_unit ：(query_cache_size - Qcache_free_memory) / Qcache_queries_in_cache
• 查询缓存命中率
  Qcache_hits / ( Qcache_hits + Qcache_inserts ) * 100%
• 查询缓存内存使用率
  (query_cache_size – qcache_free_memory) / query_cache_size * 100%

InnoDB存储引擎

• InnoDB存储引擎的缓冲池:
    通常InnoDB存储引擎缓冲池的命中不应该小于99%
• 查看相关状态变量：
  show global status like ‘innodb%read%’;
    Innodb_buffer_pool_reads: 表示从物理磁盘读取页的次数
    Innodb_buffer_pool_read_ahead: 预读的次数
    Innodb_buffer_pool_read_ahead_evicted: 预读页，但是没有读取就从缓冲池中被替换的页数量，一般用来判断预读的效率
    Innodb_buffer_pool_read_requests: 从缓冲池中读取页次数
    Innodb_data_read: 总共读入的字节数
    Innodb_data_reads: 发起读取请求的次数，每次读取可能需要读取多个页

存储引擎

• Innodb缓冲池命中率计算：
  
• 平均每次读取的字节数：
  

索引

• 索引是特殊数据结构：定义在查找时作为查找条件的字段
• 索引实现在存储引擎
• 优点：
    索引可以降低服务需要扫描的数据量，减少了IO次数
    索引可以帮助服务器避免排序和使用临时表
    索引可以帮助将随机I/O转为顺序I/O
• 缺点：
    占用额外空间，影响插入速度
• 索引类型：
    B+ TREE、HASH、R TREE
    聚簇（集）索引、非聚簇索引：数据和索引是否存储在一起
    主键索引、二级（辅助）索引
    稠密索引、稀疏索引：是否索引了每一个数据项
    简单索引、组合索引
      左前缀索引：取前面的字符做索引
      覆盖索引：从索引中即可取出要查询的数据，性能高

B-TREE索引

B+TREE索引

• B+Tree索引：顺序存储，每一个叶子节点到根结点的距离是相同的；左前缀索引，适合查询范围类的数据
• 可以使用B+Tree索引的查询类型：
    全值匹配：精确所有索引列，如：姓wang，名xiaochun，年龄30
    匹配最左前缀：即只使用索引的第一列，如：姓wang
    匹配列前缀：只匹配一列值开头部分，如：姓以w开头的
    匹配范围值：如：姓ma和姓wang之间
    精确匹配某一列并范围匹配另一列：如：姓wang,名以x开头的
    只访问索引的查询
• B+Tree索引的限制：
    如不从最左列开始，则无法使用索引，如：查找名为xiaochun，或姓为g结尾
    不能跳过索引中的列：如：查找姓wang，年龄30的，只能使用索引第一列
    如果查询中某个列是为范围查询，那么其右侧的列都无法再使用索引：如：姓wang,名x%,年龄30，只能利用姓和名上面的索引
• 特别提示：
    索引列的顺序和查询语句的写法应相匹配，才能更好的利用索引
    为优化性能，可能需要针对相同的列但顺序不同创建不同的索引来满足不同类型的查询需求

B-TREE和B+TREE的区别：

B-TREE B树 每个节点最多3个分支，每个节点都存放数据，占用空间较大，不支持范围查询(查询效率很低)
B+TREE B+树  根节点和分支节点不存放数据，只存放索引，数据存放在叶子节点，叶子节点之间有链表关系，知道下一个叶子节点的位置，适合范围查询

Hash索引

• Hash索引：基于哈希表实现，只有精确匹配索引中的所有列的查询才有效，索引自身只存储索引列对应的哈希值和数据指针，索引结构紧凑，查询性能好
• Memory存储引擎支持显式hash索引，InnoDB和MyISAM存储引擎不支持
• 适用场景：只支持等值比较查询，包括=, <=>, IN()
• 不适合使用hash索引的场景
  不适用于顺序查询：索引存储顺序的不是值的顺序
  不支持模糊匹配
  不支持范围查询
  不支持部分索引列匹配查找：如A，B列索引，只查询A列索引无效

其他索引

• 地理空间索引（ Geospatial indexing ）：
  MyISAM支持地理空间索引，可以使用任意维度组合查询，使用特有的函数访问，常用于做地理数据存储，使用不多
  InnoDB从MySQL5.7之后也开始支持
• 全文索引(FULLTEXT)：
  在文本中查找关键词，而不是直接比较索引中的值，类似搜索引擎
  InnoDB从MySQL 5.6之后也开始支持

聚簇索引和非聚簇索引

聚簇索引和非聚簇索引，主键和二级索引

其他索引

• 冗余和重复索引：
  冗余索引：（A），（A，B）
  重复索引：已经有索引，再次建立索引
• 索引优化策略：
    独立地使用列：尽量避免其参与运算，独立的列指索引列不能是表达式的一部分，也不能是函数的参数，在where条件中，始终将索引列单独放在比较符号的一侧
    左前缀索引：构建指定索引字段的左侧的字符数，要通过索引选择性来评估

左前缀索引：如果某字段长度很长，可以限定其中左起多少个字符作为索引，如name字段有50个字符长度，如果用其中20个字符不会出现重复，那么就可以用前20个字符作为索引
注意：限定的长度的字符不能重复，如wang1，wang2，wang3 ，不能用wang作为索引

  索引选择性：不重复的索引值和数据表的记录总数的比值
  多列索引：AND操作时更适合使用多列索引，而非为每个列创建单独的索引
  选择合适的索引列顺序：无排序和分组时，将选择性最高放左侧

索引优化建议

• 只要列中含有NULL值，就最好不要在此例设置索引，复合索引如果有NULL值，此列在使用时也不会使用索引
• 尽量使用短索引，如果可以，应该制定一个前缀长度
• 对于经常在where子句使用的列，最好设置索引
• 对于有多个列where或者order by子句，应该建立复合索引
• 对于like语句，以%或者‘-’开头的不会使用索引，以%结尾会使用索引
• 尽量不要在列上进行运算（函数操作和表达式操作）
• 尽量不要使用not in和<>操作

SQL语句性能优化

• 查询时，能不要就不用，尽量写全字段名
• 大部分情况连接效率远大于子查询
• 多表连接时，尽量小表驱动大表，即小表 join 大表
• 在有大量记录的表分页时使用limit
• 对于经常使用的查询，可以开启缓存
• 多使用explain和profile分析查询语句
• 查看慢查询日志，找出执行时间长的sql语句优化

管理索引

• 创建索引：
    CREATE INDEX index_name ON tbl_name (index_col_name,…);
    help CREATE INDEX

使用alter命令添加索引  
alter table students add index idx_age(age);
创建惟一键索引
create unique index uni_idx_name on students(name);

• 删除索引：
    DROP INDEX index_name ON tbl_name;

使用alter命令删除惟一键索引
alter table students drop key uni_idx_name;

• 查看索引：
    SHOW INDEXES FROM [db_name.]tbl_name;
• 优化表空间：
    OPTIMIZE TABLE tb_name
• 查看索引的使用
    SET GLOBAL userstat=1;
    SHOW INDEX_STATISTICS

EXPLAIN

• 通过EXPLAIN来分析索引的有效性：
• EXPLAIN SELECT clause
  获取查询执行计划信息，用来查看查询优化器如何执行查询
  示例：

创建索引
create index index_name on students(name);
查看查询数据是否利用索引
MariaDB [hellodb]> explain select * from students where age=10;
+------+-------------+----------+------+---------------+------+---------+------+------+-------------+
| id   | select_type | table    | type | possible_keys | key  | key_len | ref  | rows | Extra       |
+------+-------------+----------+------+---------------+------+---------+------+------+-------------+
|    1 | SIMPLE      | students | ALL  | NULL          | NULL | NULL    | NULL |   25 | Using where |
+------+-------------+----------+------+---------------+------+---------+------+------+-------------+
没有使用索引查询

MariaDB [hellodb]> explain select * from students where name like 'ren%';
+------+-------------+----------+-------+---------------+------------+---------+------+------+-----------------------+
| id   | select_type | table    | type  | possible_keys | key        | key_len | ref  | rows | Extra                 |
+------+-------------+----------+-------+---------------+------------+---------+------+------+-----------------------+
|    1 | SIMPLE      | students | range | index_name    | index_name | 152     | NULL |    1 | Using index condition |
+------+-------------+----------+-------+---------------+------------+---------+------+------+-----------------------+
使用索引查询

• 输出信息说明：
    参考 https://dev.mysql.com/doc/refman/5.7/en/explain-output.html
• id: 当前查询语句中，每个SELECT语句的编号
    复杂类型的查询有三种：
      简单子查询
      用于FROM中的子查询
      联合查询：UNION
  注意：UNION查询的分析结果会出现一个额外匿名临时表

使用复杂查询语句，有多个子句的id号
MariaDB [hellodb]> explain select stuid,name from students union select tid,name from teachers;
+------+--------------+------------+-------+---------------+--------------+---------+------+------+-------------+
| id   | select_type  | table      | type  | possible_keys | key          | key_len | ref  | rows | Extra       |
+------+--------------+------------+-------+---------------+--------------+---------+------+------+-------------+
|    1 | PRIMARY      | students   | index | NULL          | idx_name_age | 153     | NULL |   25 | Using index |
|    2 | UNION        | teachers   | ALL   | NULL          | NULL         | NULL    | NULL |    4 |             |
| NULL | UNION RESULT | <union1,2> | ALL   | NULL          | NULL         | NULL    | NULL | NULL |             |
+------+--------------+------------+-------+---------------+--------------+---------+------+------+-------------+

• select_type：
  简单查询为SIMPLE
  复杂查询：
    SUBQUERY: 简单子查询
    PRIMARY:最外面的SELECT
    DERIVED: 用于FROM中的子查询
    UNION：UNION语句的第一个之后的SELECT语句
    UNION RESULT: 匿名临时表

子查询subquery
MariaDB [hellodb]> explain select name,age from students where age > (select avg(age) from students);
+------+-------------+----------+-------+---------------+--------------+---------+------+------+--------------------------+
| id   | select_type | table    | type  | possible_keys | key          | key_len | ref  | rows | Extra                    |
+------+-------------+----------+-------+---------------+--------------+---------+------+------+--------------------------+
|    1 | PRIMARY     | students | index | index_age     | idx_name_age | 153     | NULL |   25 | Using where; Using index |
|    2 | SUBQUERY    | students | index | NULL          | index_age    | 1       | NULL |   25 | Using index              |
+------+-------------+----------+-------+---------------+--------------+---------+------+------+--------------------------+

DERIVED: 用于FROM中的子查询
centos7系统想要在explain查询字段中看到derived字段，需要进行相关设置才能显示出来
set optimizer_switch='derived_merge=off';
MariaDB [hellodb]> explain select a.name,a.age from (select * from students) as a;
+------+-------------+------------+------+---------------+------+---------+------+------+-------+
| id   | select_type | table      | type | possible_keys | key  | key_len | ref  | rows | Extra |
+------+-------------+------------+------+---------------+------+---------+------+------+-------+
|    1 | PRIMARY     | <derived2> | ALL  | NULL          | NULL | NULL    | NULL |   25 |       |
|    2 | DERIVED     | students   | ALL  | NULL          | NULL | NULL    | NULL |   25 |       |
+------+-------------+------------+------+---------------+------+---------+------+------+-------+

const：返回单个行
MariaDB [hellodb]> explain select * from students where stuid = 5;
+------+-------------+----------+-------+---------------+---------+---------+-------+------+-------+
| id   | select_type | table    | type  | possible_keys | key     | key_len | ref   | rows | Extra |
+------+-------------+----------+-------+---------------+---------+---------+-------+------+-------+
|    1 | SIMPLE      | students | const | PRIMARY       | PRIMARY | 4       | const |    1 |       |
+------+-------------+----------+-------+---------------+---------+---------+-------+------+-------+

• table：SELECT语句关联到的表
• type：关联类型或访问类型，即MySQL决定的如何去查询表中的行的方式，以下顺序，性能从低到高
    ALL: 全表扫描
    index：根据索引的次序进行全表扫描；如果在Extra列出现“Using index”表示了使用覆盖索引，而非全表扫描
    range：有范围限制的根据索引实现范围扫描；扫描位置始于索引中的某一点，结束于另一点
    ref: 根据索引返回表中匹配某单个值的所有行
    eq_ref：仅返回一个行，但与需要额外与某个参考值做比较
    const, system: 直接返回单个行
• possible_keys：查询可能会用到的索引
• key: 查询中使用到的索引
• key_len: 在索引使用的字节数
• ref: 在利用key字段所表示的索引完成查询时所用的列或某常量值
• rows：MySQL估计为找所有的目标行而需要读取的行数
• Extra：额外信息
  Using index：MySQL将会使用覆盖索引，以避免访问表
  Using where：MySQL服务器将在存储引擎检索后，再进行一次过滤
  Using temporary：MySQL对结果排序时会使用临时表
  Using filesort：对结果使用一个外部索引排序

二、 锁和事务管理

并发控制

• 锁粒度：
    表级锁
    行级锁
• 锁：
    读锁：共享锁，只读不可写，多个读互不阻塞
    写锁：独占锁,排它锁，一个写锁会阻塞其它读和它锁
• 实现
    存储引擎：自行实现其锁策略和锁粒度
    服务器级：实现了锁，表级锁；用户可显式请求
• 分类：
    隐式锁：由存储引擎自动施加锁
    显式锁：用户手动请求

lock tables teachers read;   对teachers表加读锁
加读锁后，其他终端只能读该表，不能写
lock tables students write;   加写锁
加写锁后，自己可读可写，别人不可读不可写
注意：加锁时，要重启服务或清除缓存，否则加锁可能无效

启用缓存的情况下，可以通过修改变量，使缓存不生效
query_cache_wlock_invalidate  启用该项表示不允许从缓存中返回数据
此变量为会话级，要想全局生效则需要更改配置文件
set query_cache_wlock_invalidate=on
更改配置文件
vim /etc/my.cnf
[mysqld]
query_cache_wlock_invalidate=on

• 锁策略：在锁粒度及数据安全性寻求的平衡机制
• 显示使用锁
    LOCK TABLES
      tbl_name [[AS] alias] lock_type
      [, tbl_name [[AS] alias] lock_type] …
      lock_type: READ ， WRITE
    UNLOCK TABLES 解锁
    FLUSH TABLES [tb_name[,…]] [WITH READ LOCK]
     关闭正在打开的表（清除查询缓存），通常在备份前加全局读锁

对服务器全部数据库加锁，即不仅对当前数据库生效，对其他数据库也生效
还可以清除查询缓存信息,即flush tables
其他表全部关闭后，才能使用此命令加锁
flush tables with read lock;  对所有数据库的所有表加读锁(只能读不能写)，无需写表名
unlock tabls  解锁

  SELECT clause [FOR UPDATE | LOCK IN SHARE MODE]
   查询时加写或读锁

事务

• 事务Transactions：一组原子性的SQL语句，或一个独立工作单元
• 事务日志：记录事务信息，实现undo,redo等故障恢复功能

存放完整的事务操作和不完整的事务操作
系统根据事务日志决定是否继续执行事务操作(事务动作已经全部写入事务日志)和撤销事务操作(事务动作没有完全写入事务日志)
myisam存储引擎不支持事务日志，因此该存储引擎恢复能力差

• ACID特性：
    A：atomicity原子性；整个事务中的所有操作要么全部成功执行，要么全部失败后回滚
    C：consistency一致性；数据库总是从一个一致性状态转换为另一个一致性状态
  如：账户转账，转账人转走1万元，收账人收到1万元，两个动作要么都做，要么都不做，即两个动作要保持一致，确保数据保持一致
    I：Isolation隔离性；一个事务所做出的操作在提交之前，是不能为其它事务所见；隔离有多种隔离级别，实现并发
    D：durability持久性；一旦事务提交，其所做的修改会永久保存于数据库中
• 启动事务：
    BEGIN
    BEGIN WORK
    START TRANSACTION
• 结束事务：
    COMMIT：提交
    ROLLBACK: 回滚
    注意：只有事务型存储引擎中的DML语句方能支持此类操作
• 自动提交：set autocommit={1|0} 默认为1，为0时设为非自动提交
    建议：显式请求和提交事务，而不要使用“自动提交”功能
• 事务支持保存点：savepoint
    SAVEPOINT identifier
    ROLLBACK [WORK] TO [SAVEPOINT] identifier
    RELEASE SAVEPOINT identifier
  示例：

update  students set  classid=5 where stuid=23;  对学生表进行更改
savepoint sp23   创建保存点
update  students set  classid=10 where stuid=24;  对学生表进行更改
savepoint sp24   创建保存点
update  students set  classid=30 where stuid=25;  对学生表进行更改

rollback to savepoint sp24;  回滚到sp24保存点，即stuid=25的操作会被撤销
rollback to savepoint sp23;  回滚到sp23保存点，即stuid=24的操作会被撤销

事务隔离级别

• 事务隔离级别：从上至下更加严格
    READ UNCOMMITTED 可读取到未提交数据，产生脏读

两个会话：会话1和会话2
会话1开启事务写入数据，会话2同样开启事务，在该事务内可以读取到会话1未提交的数据

  READ COMMITTED 可读取到提交数据，读取不到未提交数据。即在数据提交之前读取到的数据为写数据之前的旧数据，在数据提交之后读取到的数据为提交后更改的新数据，这样就读取到多个提交数据，导致每次读取数据不一致，也就是不可重复读

两个会话：会话1和会话2
会话1开启事务写入数据，会话2同样开启事务，在该事务内可以读取到会话1未提交前的旧数据
会话1提交数据完成事务，会话2开启事务，在该事务内可以读取到会话1提交后的新数据

  REPEATABLE READ 可重复读，多次读取数据都一致，产生幻读，即读取过程中，即使有其它提交的事务修改数据，也只能读取到未修改前的旧数据，等其他事务提交完毕以后读取的数据也是提交前的旧数据。该选项为MySQL默认设置。

两个会话：会话1和会话2
会话1开启事务写入数据，会话2同样开启事务，在该事务内容读取到会话1未提交前的旧数据
会话1提交数据完成事务，会话2开启事务，在该事务内读取到的还是会话1提交前的旧数据，当会话2提交数据完成事务后，才能看到会话1提交的新数据

  SERIALIZABILE 可串行化，未提交的读事务阻塞修改事务，或者未提交的修改事务阻塞读事务。导致并发性能差

两个会话：会话1和会话2
会话1开启事务读取数据，会话2开启事务，在该事务内可以读取数据，但无法写入数据，只有等会话1完成事务，会话2才可以写入数据
会话1开启事务写入数据，会话2开启事务，在该事务内无法读取数据，也无法写入数据，只有等会话1完成事务，会话2才可以读或写数据
会话2会一直等待，直至会话超时

  会话超时的相关变量:

MariaDB [hellodb]> show variables like '%timeout%';
其中，innodb_lock_wait_timeout是指等待超时时间，默认为50秒，该变量可以手动更改超时时间

• MVCC: 多版本并发控制，和事务级别相关

事务隔离级别	脏读可能性	不可重复读可能性	幻读可能性	加锁读
读未提交(read-uncommited)	是	是	是	否
不可重复读(read-commited)	否	是	是	否
可重复读(repeatable-read)	否	否	是	否
串行化(serializable)	否	否	否	是

• 指定事务隔离级别：
    服务器变量tx_isolation指定，默认为REPEATABLE-READ，可在GLOBAL和SESSION级进行设置
    SET tx_isolation=’’
      READ-UNCOMMITTED
      READ-COMMITTED
      REPEATABLE-READ
      SERIALIZABLE
    服务器选项中指定
      vim /etc/my.cnf
      [mysqld]
      transaction-isolation=SERIALIZABLE
    注意：服务器变量和服务器选项(即写入配置文件中的选项)并不一样，书写时要注意

并发控制

• 死锁：
    两个或多个事务在同一资源相互占用，并请求锁定对方占用的资源的状态

如果会话1开启事务对某行进行操作，会话2页对该行进行操作，那么操作会处于等待状态，直至等待超时退出操作
如何强制会话2退出等待状态
show processlist   查看事务列表，显示操作id号
kill 2  关闭正在执行的事务，2为事务id号，用show processlist可以查看

• 事务日志：
    事务日志的写入类型为“追加”，因此其操作为“顺序IO”；通常也被称为：预写式日志 write ahead logging
    日志文件： ib_logfile0， ib_logfile1
    建议：将事务日志存放在一个干净的，独立的分区中

三、 日志管理

• 日志
    事务日志 transaction log
    中继日志 reley log
    错误日志 error log
    通用日志 general log
    慢查询日志 slow query log
    二进制日志 binary log

事务日志

• 事务日志：transaction log
    事务型存储引擎自行管理和使用，建议和数据文件分开存放

更改事务日志路径
mkdir /data/mysqllogs/   创建自定义事务日志目录
chown mysql.mysql  /data/mysqllogs/    更改权限
vim /etc/my.cnf    更改配置文件
[mysqld]    mysqld语句块下
innodb_log_group_home_dir=/data/mysqllogs/   指定事务日志文件路径

    redo log
    undo log
  Innodb事务日志相关配置：
    show variables like ‘%innodb_log%’;
    innodb_log_file_size 5242880 每个日志文件大小,默认大小为5M
    innodb_log_files_in_group 2 日志组成员个数
    innodb_log_group_home_dir ./ 事务文件路径
  注意：./是指/var/lib/mysql

• 中继日志：relay log
    主从复制架构中，从服务器用于保存从主服务器的二进制日志中读取的事件

开启事务，执行数据库写操作，在提交之前进行事务回滚，回滚完毕后数据库大小不会更改，即执行命令把数据写入数据库，数据库文件变大，但是取消该操作，数据库文件大小不会自动缩减会原来的大小
使用以下命令释放多余的空间：optimize  table  testlog;  

错误日志

• 错误日志
    mysqld启动和关闭过程中输出的事件信息
    mysqld运行中产生的错误信息
    event scheduler运行一个event时产生的日志信息
    在主从复制架构中的从服务器上启动从服务器线程时产生的信息
• 错误日志相关配置
    SHOW GLOBAL VARIABLES LIKE ‘log_error’
    错误文件路径：
      log_error=/PATH/TO/LOG_ERROR_FILE
    是否记录警告信息至错误日志文件
      log_warnings=1|0 默认值1
    更改错误日志路径：

配置文件/etc/my.cnf下
[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log

通用日志

• 通用日志：记录对数据库的通用操作，包括错误的SQL语句，会造成日志量较多，占用空间较大，一般情况下不用开启，系统默认为关闭状态
    文件：file，默认值
    表：table
• 通用日志相关设置
    general_log=ON|OFF
  开启日志，系统会在/var/lib/mysql/目录下自动生成centos7.log文件存放通用日志
    general_log_file=HOSTNAME.log
    log_output=TABLE|FILE|NONE

查看mysql数据库中的general_log表
MariaDB [mysql]> use mysql;
MariaDB [mysql]> select * from general_log;
+----------------------------+---------------------------+-----------+-----------+--------------+---------------------------+
| event_time                 | user_host                 | thread_id | server_id | command_type | argument                  |
+----------------------------+---------------------------+-----------+-----------+--------------+---------------------------+
| 2018-10-12 15:09:44.271858 | root[root] @ localhost [] |         2 |         0 | Query        | select * from general_log |
| 2018-10-12 15:09:51.461674 | root[root] @ localhost [] |         2 |         0 | Query        | select * from general_log |
+----------------------------+---------------------------+-----------+-----------+--------------+---------------------------+
mysql -e 'select * from mysql.general_log' > test.log  把日志从数据库导出

慢查询日志

• 慢查询日志：记录执行查询时长超出指定时长的操作
  slow_query_log=ON|OFF 开启或关闭慢查询
  long_query_time=N 慢查询的阀值，单位秒
  slow_query_log_file=HOSTNAME-slow.log 慢查询日志文件
  log_slow_filter = admin,filesort,filesort_on_disk,full_join,
  full_scan,query_cache,query_cache_miss,tmp_table,tmp_table_on_disk 上述查询类型且查询时长超过long_query_time，则记录日志
  log_queries_not_using_indexes=ON 不使用索引或使用全索引扫描，不论是否达到慢查询阀值的语句是否记录日志，默认OFF，即不记录
  log_slow_rate_limit = 1 多少次查询才记录，mariadb特有
  log_slow_verbosity= Query_plan,explain 记录内容
  log_slow_queries = OFF 同slow_query_log 新版已废弃

开启慢查询日志
set global slow_query_log=on;  
慢查询日志位置：/var/lib/mysql/centos7-slow.log 
set long_query_time=3   时间阀值，默认为10秒，即命令执行超过10秒就会被记录,更改为3秒
或：在日志文件中更改(永久保存)
vim /etc/my.cnf
[mysqld]
slow_query_log=on   开启慢查询日志
long_query_time=3   设置时间阀值为3秒，即超过3秒就记录下来
测试：
select sleep(2) from teachers;  teachers表有4条记录，每条记录sleep2秒，该命令执行需要8秒
查看慢查询日志
cat /var/lib/mysql/centos7-slow.log

知识扩展：

查询命令中有多个子句，查看每个子句查询所占用的时间
show variables like '%profiling%';  查询变量
set profiling=on   开启命令分析功能
show profiles  查看命令执行过程，查看执行命令id号为1
show profile for query 1    查看命令执行详细过程，可以查看sql命令过程中每一步骤占用时间
示例：
MariaDB [hellodb]> select * from testlog where name="wang99000";
+-------+-----------+-------+
| id    | name      | age   |
+-------+-----------+-------+
| 99000 | wang99000 | 99000 |
+-------+-----------+-------+
1 row in set (0.00 sec)

MariaDB [hellodb]> show profiles;   
+----------+------------+----------------------------------------------+
| Query_ID | Duration   | Query                                        |
+----------+------------+----------------------------------------------+
|        1 | 0.00006964 | select * from testlog where name="wang99000" |
+----------+------------+----------------------------------------------+
1 row in set (0.00 sec)

MariaDB [hellodb]> show profile for query 1 ;
+--------------------------------+----------+
| Status                         | Duration |
+--------------------------------+----------+
| starting                       | 0.000020 |
| Waiting for query cache lock   | 0.000005 |
| checking query cache for query | 0.000007 |
| checking privileges on cached  | 0.000003 |
| checking permissions           | 0.000017 |
| sending cached result to clien | 0.000010 |
| updating status                | 0.000004 |
| cleaning up                    | 0.000003 |
+--------------------------------+----------+

二进制日志

• 二进制日志
    记录导致数据改变或潜在导致数据改变的SQL语句
    记录已提交的日志
    不依赖于存储引擎类型
    功能：通过“重放”日志文件中的事件来生成数据副本
    注意：建议二进制日志和数据文件分开存放

二进制日志与事务日志的区别：
1、事务日志依赖于事务功能，依赖于存储引擎；二进制日志并不依赖于存储引擎
2、二进制日志记录数据库已经确定的增删改操作，也即是只记录事务提交过的操作；事务日志记录的是提交过的以及未提交的操作
3、事务日志文件大小确定，默认为5M，因此日志文件在写的过程中不断覆盖旧日志，会丢失以前的日志文件；二进制日志是不断累积的文件，系统默认不会被覆盖和删除

二进制日志记录执行过程，并不记录数据库初始状态，因此二进制日志需要与备份文件相结合才能发挥作用

• 二进制日志记录格式
    二进制日志记录三种格式
      基于“语句”记录：statement，记录语句，默认模式

如某条命令更改了很多条记录，但该日志只记录这条命令，并不记录结果
update students set age=20；  只记录该命令
有时会造成有些记录无法还原，如某学员的生日为update students set birth=now()，还原时执行该命令，日期无法还原为正确的日期

    基于“行”记录：row，记录数据，日志量较大

记录数据库中每一行的更改记录
update students set age=20；  记录该命令更改的每一条记录
可以完全还原，但是产生的日志量最大

    混合模式：mixed, 让系统自行判定该基于哪种方式进行
  格式配置
    show variables like ‘binlog_format’;

mariadb10.2.3版本以前使用statement语句模式
mariadb10.2.4版本以后使用mixed混合模式

• 二进制日志文件的构成
    有两类文件
    日志文件：mysql|mariadb-bin.文件名后缀，二进制格式
      如： mariadb-bin.000001
    索引文件：mysql|mariadb-bin.index，文本格式
• 二进制日志相关的服务器变量：
    sql_log_bin=ON|OFF：是否记录二进制日志，默认ON
    log_bin=/PATH/BIN_LOG_FILE：指定文件位置；默认OFF，表示不启用二进制日志功能，上述两项都开启才可

把此选项写入配置文件，即使不指定路径，也可以开启功能
log_bin写入配置文件时需要指定文件路径，即log_bin=mysql-bin；如果不指定路径，则系统默认文件名为/var/lib/mysql/目录下的mariadb-bin.000001和mariadb-bin.index
vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin     指定文件名为mysql-bin

mysql-bin.index    记录当前有效的二进制日志文件是哪些文件
[root@centos7 mysql]# cat mariadb-bin.index 
./mariadb-bin.000001
注意：重启数据库服务，二进制日志文件会自动增加

  binlog_format=STATEMENT|ROW|MIXED：二进制日志记录的格式，默认STATEMENT
  max_binlog_size=1073741824：单个二进制日志文件的最大体积，到达最大值会自动滚动，默认为1G
  说明：文件达到上限时的大小未必为指定的精确值
  sync_binlog=1|0：设定是否启动二进制日志即时同步磁盘功能，默认0，由操作系统负责同步日志到磁盘
  expire_logs_days=N：二进制日志可以自动删除的天数。默认为0，即不自动删除

• 二进制日志相关配置
    查看mariadb自行管理使用中的二进制日志文件列表，及大小
      SHOW {BINARY | MASTER} LOGS
    查看使用中的二进制日志文件
      SHOW MASTER STATUS
    查看二进制文件中的指定内容
      SHOW BINLOG EVENTS [IN ‘log_name’] [FROM pos] [LIMIT [offset,] row_count]
      show binlog events in ‘mysql-bin.000001’ from 6516 limit 2,3

查看二进制文件中的指定内容
MariaDB [hellodb]> show binlog events in 'mysql-bin.000001' from 48355435 ;
+------------------+----------+------------+-----------+-------------+--------------------------------------------------------------+
| Log_name         | Pos      | Event_type | Server_id | End_log_pos | Info                                                         |
+------------------+----------+------------+-----------+-------------+--------------------------------------------------------------+
| mysql-bin.000001 | 48355435 | Query      |         1 |    48355506 | BEGIN                                                        |
| mysql-bin.000001 | 48355506 | Query      |         1 |    48355617 | use `hellodb`; insert students values(26,'wang',20,'m',10,1) |
| mysql-bin.000001 | 48355617 | Xid        |         1 |    48355644 | COMMIT /* xid=600022 */                                      |
| mysql-bin.000001 | 48355644 | Query      |         1 |    48355715 | BEGIN                                                        |
| mysql-bin.000001 | 48355715 | Query      |         1 |    48355824 | use `hellodb`; insert students values(27,'li',30,'m',15,1)   |
| mysql-bin.000001 | 48355824 | Xid        |         1 |    48355851 | COMMIT /* xid=600024 */                                      |
+------------------+----------+------------+-----------+-------------+--------------------------------------------------------------+

MariaDB [hellodb]> show binlog events in 'mysql-bin.000001' from 48355435 limit 2,3;
+------------------+----------+------------+-----------+-------------+------------------------------------------------------------+
| Log_name         | Pos      | Event_type | Server_id | End_log_pos | Info                                                       |
+------------------+----------+------------+-----------+-------------+------------------------------------------------------------+
| mysql-bin.000001 | 48355617 | Xid        |         1 |    48355644 | COMMIT /* xid=600022 */                                    |
| mysql-bin.000001 | 48355644 | Query      |         1 |    48355715 | BEGIN                                                      |
| mysql-bin.000001 | 48355715 | Query      |         1 |    48355824 | use `hellodb`; insert students values(27,'li',30,'m',15,1) |
+------------------+----------+------------+-----------+-------------+------------------------------------------------------------+

日志文件以及相关命令

• mysqlbinlog：二进制日志的客户端命令工具
• 命令格式：
    mysqlbinlog [OPTIONS] log_file…
    --start-position=# 指定开始位置
    --stop-position=#
    --start-datetime=
    --stop-datetime=
    时间格式：YYYY-MM-DD hh:mm:ss
    --base64-output[=name]
  示例：

mysqlbinlog --start-position=6787 --stop-position=7527 /var/lib/mysql/mariadb-bin.000003
mysqlbinlog --start-datetime="2018-01-30 20:30:10" --stop-datetime="2018-01-30 20:35:22" mariadb-bin.000003

• 二进制日志事件的格式：
  #at 328
  #151105 16:31:40 server id 1 end_log_pos 431 Query thread_id=1 exec_time=0 error_code=0
  use `mydb`/!/;
  SET TIMESTAMP=1446712300/!/;
  CREATE TABLE tb1 (id int, name char(30))
  /*!*/;
  事件发生的日期和时间：151105 16:31:40
  事件发生的服务器标识：server id 1
  事件的结束位置：end_log_pos 431
  事件的类型：Query
  事件发生时所在服务器执行此事件的线程的ID：thread_id=1
  语句的时间戳与将其写入二进制文件中的时间差：exec_time=0
  错误代码：error_code=0
  事件内容：
  GTID：Global Transaction ID，mysql5.6以mariadb10以上版本专属属性：GTID
• 清除指定二进制日志：
    PURGE { BINARY | MASTER } LOGS
      { TO ‘log_name’ | BEFORE datetime_expr }
  示例：

PURGE BINARY LOGS TO ‘mariadb-bin.000003’;删除3之前的日志
PURGE BINARY LOGS BEFORE '2017-01-23';
PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';

• 删除所有二进制日志，index文件重新记数
    RESET MASTER [TO #]; 日志文件从#开始记数，默认从1开始，一般是master第一次启动时执行，MariaDB10.1.6开始支持TO #
• 切换日志文件：
    FLUSH LOGS;
    切换日志使用场景：需要做阶段性备份，把新日志和旧日志(已备份)分开存放