MariaDB数据库日志

在日常生产中，各种服务应用的日志的主要作用就是记录服务的运行状态、启动记录等信息，但数据库的日志对于数据库而言是很重要的。数据库日志分为：事务、中继、错误、通用、慢查询和二进制日志，其中每种日志都有其特定的功能。通过日志分析，我们可以很快的找出服务器的性能瓶颈，优化数据库的性能。

一.事务日志

事务使得数据库在实现MVCC(多版本并发控制)的同时也保证了数据的一致性、唯一性，MariaDB默认的存储引擎支持事务功能。在数据库中，单条的SELECT、UPDATE、DELETE都是一个独立的事务，系统在执行完命令后默认自动提交。
因此在我们执行mysql语句的时候，数据库会先把对数据的修改结果先写到事务日志中，待COMMIT后再写到数据库的磁盘文件中。

1.事务日志的特点

事务日志的写入类型为“追加”，因此其操作为“顺序IO”；通常也被称为：预写式日志 write ahead logging
事务日志建议放在一个独立分区内，事务是顺序写入，所以独立分区可以提升其写入性能
日志文件名称： ib_logfile0， ib_logfile1

2.Innodb事务日志相关配置：

show variables like '%innodb_log%';               查看事务日志变量
innodb_log_file_size 5242880                           每个日志文件大小，反复轮流覆盖，不永久保留。
innodb_log_files_in_group 2                              日志组成员个数
innodb_log_group_home_dir ./                          事务文件路径，和数据文件分开放，提升数据库性能

二.中继日志：relay log

主从复制架构中，从服务器用于保存从主服务器的二进制日志中读取的事件

三.错误日志记录数据库运行中出现的各种错误

记录数据库运行中出现的各种错误

1.错误日志的特点

log-error 配置文件
mysqld启动和关闭过程中输出的事件信息
mysqld运行中产生的错误信息
event scheduler运行一个event时产生的日志信息
在主从复制架构中的从服务器上启动从服务器线程时产生的信息

2.错误日志配置

   SHOW GLOBAL VARIABLES LIKE 'log_error'  查看和数据库运行错误信息

错误文件路径：

    log_error=/PATH/TO/LOG_ERROR_FILE    

是否记录警告信息至错误日志文件

    log_warnings=1|0 默认值1

3.通用日志

记录对数据库的通用操作，包括错误的SQL语句

通用日志相关设置

    general_log=ON|OFF  默认OFF，因为通用记录太多影响数据库性能，排错的时候可以用。
    general_log_file=HOSTNAME.log  通用日志路径
    log_output=TABLE|FILE|NONE     管理通用日志文件格式

四.慢查询日志

慢查询日志：记录执行查询时长超出指定时长的操作据此优化数据库性能

slow_query_log=ON|OFF   开启或关闭慢查询，开启以后占用系统资源，所以默认关闭
long_query_time=N   慢查询的阀值，单位秒，可以自行修改
slow_query_log_file=HOSTNAME-slow.log   慢查询日志文件

log_slow_filter = admin,filesort,filesort_on_disk,full_join,full_scan,query_cache,query_cache_miss,tmp_table,tmp_table_on_disk  
上述查询类型且查询时长超过long_query_time，则记录日志

log_queries_not_using_indexes=ON 不使用索引或使用全索引扫描，不论是否达到慢查询阀值的语句是否记录日志，默认OFF，即不记录
log_slow_rate_limit = 1 多少次查询才记录，mariadb特有
log_slow_verbosity= Query_plan,explain 记录内容
log_slow_queries = OFF 同slow_query_log 新版已废弃

五.二进制日志

1.二进制日志的特点

记录导致数据改变或潜在导致数据改变的SQL语句
记录已提交的日志
不依赖于存储引擎类型
功能：通过“重放”日志文件中的事件来生成数据副本  恢复数据库
不断累加的，不会覆盖。而事务日志是会被覆盖的
二进制日志甚至比数据库文件重要，但二进制日志不记录初始状态。
注意：建议二进制日志和数据文件分开存放 避免因为硬件损坏而导致两个文件都被损坏

2.二进制日志记录格式

二进制日志记录三种格式

基于“语句”记录：statement，记录语句，默认模式
基于“行”记录：row，记录数据，日志量较大
混合模式：mixed, 让系统自行判定该基于哪种方式进行

格式配置
```
show variables like ‘binlog_format';
```

3.二进制日志文件的构成

日志文件：mysql|mariadb-bin.文件名后缀，二进制格式
    如： mariadb-bin.000001
索引文件：mysql|mariadb-bin.index，文本格式

4.二进制日志相关的服务器变量：

sql_log_bin=ON|OFF：是否记录二进制日志，默认ON，可以直接动态更改的
log_bin=/PATH/BIN_LOG_FILE：指定文件位置；默认OFF，表示不启用二进制日志功能，上述两项都开启才可以，重启服务才能生效
binlog_format=STATEMENT|ROW|MIXED：二进制日志记录的格式，默认STATEMENT
max_binlog_size=1073741824：单个二进制日志文件的最大体积，到达最大值会自动滚动，默认为1G
说明：文件达到上限时的大小未必为指定的精确值
sync_binlog=1|0：设定是否启动二进制日志即时同步磁盘功能，默认0，由操作系统负责同步日志到磁盘。1 由mysql自己决定，日志一变化就写。 
expire_logs_days=N：二进制日志可以自动删除的天数。默认为0，即不自动删除
binlog/mysql-bin.index  记录当前有效的二进制文件

5.二进制日志相关配置

查看mariadb自行管理使用中的二进制日志文件列表，及大小
    SHOW {BINARY | MASTER} LOGS
查看使用中的二进制日志文件
    SHOW MASTER STATUS
查看二进制文件中的指定内容
    SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]
    show binlog events in 'mysql-bin.000001' from 6516 limit 2,3

mysqlbinlog：二进制日志的客户端命令工具
命令格式：

mysqlbinlog [OPTIONS] log_file…
--start-position=# 指定开始位置
--stop-position=#  
--start-datetime=
--stop-datetime=

时间格式：YYYY-MM-DD hh:mm:ss
--base64-output=auto [=name] 以base64编码输出 
示例：mysqlbinlog --start-position=6787 --stop-position=7527 
/var/lib/mysql/mariadb-bin.000003 
mysqlbinlog --start-datetime="2018-01-30 20:30:10" --stop-datetime="2018-01-30 20:35:22" mariadb-bin.000003

6.二进制日志事件的格式：

# at 328
#151105 16:31:40 server id 1 end_log_pos 431 Query thread_id=1 exec_time=0 
error_code=0
use `mydb`/*!*/;
SET TIMESTAMP=1446712300/*!*/;
CREATE TABLE tb1 (id int, name char(30))
/*!*/; 
事件发生的日期和时间：151105 16:31:40
事件发生的服务器标识：server id 1
事件的结束位置：end_log_pos 431
事件的类型：Query 
事件发生时所在服务器执行此事件的线程的ID：thread_id=1
语句的时间戳与将其写入二进制文件中的时间差：exec_time=0
错误代码：error_code=0
事件内容：
GTID：Global Transaction ID，mysql5.6以mariadb10以上版本专属属性：GTID 不同的服务器，不同的日志

7.清除指定二进制日志：

PURGE { BINARY | MASTER } LOGS   谨慎使用
    { TO 'log_name' | BEFORE datetime_expr }

示例：

PURGE BINARY LOGS TO ‘mariadb-bin.000003’;删除3之前的日志 
PURGE BINARY LOGS BEFORE '2017-01-23';   
PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';

删除所有二进制日志，index文件重新记数

RESET MASTER [TO #]; 日志文件从#开始记数，默认从1开始，一般是master第一次启动时执行，MariaDB10.1.6开始支持TO #

切换日志文件：

FLUSH LOGS; 生成新的日志文件，原日志文件还在。