日志管理

MySQL 支持丰富的日志类型，如下：

事务日志：transaction log
- 事务日志的写入类型为“追加”，因此其操作为“顺序IO”；通常也被称为：预写式日志 write ahead
logging
- 事务日志文件： ib_logfile0， ib_logfile1
错误日志 error log
通用日志 general log
慢查询日志 slow query log
二进制日志 binary log
中继日志 reley log，在主从复制架构中，从服务器用于保存从主服务器的二进制日志中读取的事件

1.1 事务日志

1.1.1 事务日志介绍

事务日志：transaction log
事务型存储引擎自行管理和使用，建议和数据文件分开存放，redo log和undo log

1.1.2 Innodb事务日志相关配置

show variables like '%innodb_log%';
	innodb_log_file_size 50331648 每个日志文件大小
	innodb_log_files_in_group 2 日志组成员个数
	innodb_log_group_home_dir ./ 事务文件路径
	innodb_flush_log_at_trx_commit 默认为1

1.1.3 事务日志性能优化

innodb_flush_log_at_trx_commit=0|1|2|3

在这里插入图片描述
说明：
设置为1，同时sync_binlog = 1表示最高级别的容错
innodb_use_global_flush_log_at_trx_commit的值确定是否可以使用SET语句重置此变量

1.2 错误日志

1.2.1 错误日志

mysqld启动和关闭过程中输出的事件信息
mysqld运行中产生的错误信息
event scheduler运行一个event时产生的日志信息
在主从复制架构中的从服务器上启动从服务器线程时产生的信息

1.2.2 错误文件路径

SHOW GLOBAL VARIABLES LIKE 'log_error'

范例：

MariaDB [hellodb]> show global variables like 'log_error';
+---------------+---------------------+
| Variable_name | Value               |
+---------------+---------------------+
| log_error     | /var/log/mysqld.log |
+---------------+---------------------+
1 row in set (0.00 sec)

1.2.3 是否记录警告信息至错误日志文件

#默认值1
log_warnings=1|0

范例：

MariaDB [hellodb]> show global variables like 'log_warnings';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_warnings  | 2     |
+---------------+-------+
1 row in set (0.00 sec)

1.3 通用日志

通用日志：记录对数据库的通用操作，包括错误的SQL语句
通用日志可以保存在：file（默认值）或 table（mysql.general_log表）

1.3.1通用日志相关设置

general_log=ON|OFF
general_log_file=HOSTNAME.log
log_output=TABLE|FILE|NONE

范例

#修改通用日志，记录通用日志至mysql.general_log表中
MariaDB [hellodb]> set global log_output="table";
Query OK, 0 rows affected (0.00 sec)

MariaDB [hellodb]> show global variables like 'log_output';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output    | TABLE |
+---------------+-------+
1 row in set (0.00 sec)

MariaDB [mysql]> select * from mysql.general_log\G
...省略...
*************************** 6. row ***************************
event_time: 2019-11-25 11:03:41.163896
user_host: root[root] @ localhost []
thread_id: 9
server_id: 1
command_type: Query
argument: xxx
*************************** 7. row ***************************
event_time: 2019-11-25 11:03:44.549211
user_host: root[root] @ localhost []
thread_id: 8
server_id: 1
command_type: Query
argument: select * from general_log
7 rows in set (0.000 sec)

1.4 慢查询日志

慢查询日志：记录执行查询时长超出指定时长的操作

1.4.1 慢查询相关变量

slow_query_log=ON|OFF #开启或关闭慢查询
long_query_time=N #慢查询的阀值，单位秒
slow_query_log_file=HOSTNAME-slow.log #慢查询日志文件
log_slow_filter = admin,filesort,filesort_on_disk,full_join,full_scan,
query_cache,query_cache_miss,tmp_table,tmp_table_on_disk
#上述查询类型且查询时长超过long_query_time，则记录日志
log_queries_not_using_indexes=ON #不使用索引或使用全索引扫描，不论是否达到慢查询阀值的语句是否记录日志，默认OFF，即不记录
log_slow_rate_limit = 1 #多少次查询才记录，mariadb特有
log_slow_verbosity= Query_plan,explain #记录内容
log_slow_queries = OFF 同slow_query_log #MariaDB 10.0/MySQL 5.6.1 版后已删除

1.4.2 使用profile工具

#打开后，会显示语句执行详细的过程
set profiling = ON
#查看语句,注意结果中的query_id值
show profiles ;
#显示语句的详细执行步骤和时长
Show profile for query #
#显示cpu使用情况
Show profile cpu for query #

1.5 二进制日志 #重点内容

记录导致数据改变或潜在导致数据改变的SQL语句
记录已提交的日志
不依赖于存储引擎类型
- 功能：通过“重放”日志文件中的事件来生成数据副本
注意：建议二进制日志和数据文件分开存放
注意：二进制日志是对日志的增删改

1.5.1 二进制日志记录三种格式

基于“语句”记录：statement，记录语句，默认模式（ MariaDB 10.2.3 版本以下），日志量较少
基于“行”记录：row，记录数据，日志量较大
混合模式：mixed, 让系统自行判定该基于哪种方式进行，默认模式（MariaDB 10.2.4及版本以上）

1.5.2 格式配置

MariaDB [hellodb]> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | MIXED |
+---------------+-------+
1 row in set (0.00 sec)

1.5.3 二进制日志文件的构成

有两类文件

日志文件：mysql|mariadb-bin.文件名后缀，二进制格式
如：mariadb-bin.000001
索引文件：mysql|mariadb-bin.index，文本格式

1.5.4 二进制日志相关的服务器变量

sql_log_bin=ON|OFF：#是否记录二进制日志，默认ON
log_bin=/PATH/BIN_LOG_FILE：#指定文件位置；默认OFF，表示不启用二进制日志功能，上述两项都开启才可
binlog_format=STATEMENT|ROW|MIXED：#二进制日志记录的格式，默认STATEMENT
max_binlog_size=1073741824：#单个二进制日志文件的最大体积，到达最大值会自动滚动，默认为1G
**说明：文件达到上限时的大小未必为指定的精确值**
sync_binlog=1|0：#设定是否启动二进制日志即时同步磁盘功能，默认0，由操作系统负责同步日志到磁盘
expire_logs_days=N：#二进制日志可以自动删除的天数。 默认为0，即不自动删除

1.5.5 二进制日志相关配置

1.5.5.1 查看mariadb自行管理使用中的二进制日志文件列表，及大小

SHOW {BINARY | MASTER} LOGS

1.5.5.2 查看使用中的二进制日志文件

SHOW MASTER STATUS

MariaDB [hellodb]> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |      328 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

1.5.5.3 查看二进制文件中的指定内容

SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]

范例

show binlog events in 'mysql-bin.000001' from 6516 limit 2,3

1.5.5.4 mysqlbinlog：二进制日志的客户端命令工具

命令格式：

mysqlbinlog [OPTIONS] log_file…
--start-position=# 指定开始位置
--stop-position=#
--start-datetime= #时间格式：YYYY-MM-DD hh:mm:ss
--stop-datetime=
--base64-output[=name]
-v -vvv

范例：

mysqlbinlog --start-position=678 --stop-position=752 /var/lib/mysql/mariadbbin.000003 -v
mysqlbinlog --start-datetime="2018-01-30 20:30:10" --stop-datetime="2018-01-30 20:35:22" mariadb-bin.000003 -vvv

1.5.6 二进制日志事件的格式

# at 328
#151105 16:31:40 server id 1 end_log_pos 431 Query thread_id=1
exec_time=0 error_code=0
use `mydb`/*!*/;
SET TIMESTAMP=1446712300/*!*/;
CREATE TABLE tb1 (id int, name char(30))
/*!*/;
事件发生的日期和时间：151105 16:31:40
事件发生的服务器标识：server id 1
事件的结束位置：end_log_pos 431
事件的类型：Query
事件发生时所在服务器执行此事件的线程的ID：thread_id=1
语句的时间戳与将其写入二进制文件中的时间差：exec_time=0
错误代码：error_code=0
事件内容：GTID：Global Transaction ID，mysql5.6以mariadb10以上版本专属属性：GTID

1.5.7 清除指定二进制日志

PURGE { BINARY | MASTER } LOGS { TO 'log_name' | BEFORE datetime_expr }

范例：

PURGE BINARY LOGS TO 'mariadb-bin.000003'; #删除mariadb-bin.000003之前的日志
PURGE BINARY LOGS BEFORE '2017-01-23';
PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';

1.5.8 删除所有二进制日志，index文件重新记数

RESET MASTER [TO #]; #删除所有二进制日志文件，并重新生成日志文件，文件名从#开始记数，默认从1开始，一般是master主机第一次启动时执行，MariaDB10.1.6开始支持TO #

1.5.9 切换日志文件

FLUSH LOGS;

二进制文件滚动记录，通过命令FLUSH LOGS;强行滚动日志，再查询二进制日志文件，发现了新的滚动文件

MariaDB [hellodb]> FLUSH LOGS;
Query OK, 0 rows affected (0.01 sec)

MariaDB [hellodb]> SHOW MASTER LOGS;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000001 |       375 |
| mysql-bin.000002 |       418 |
| mysql-bin.000003 |       371 |
+------------------+-----------+
3 rows in set (0.00 sec)

1.5.10 开启二进制日志文件，系统默认不开启

vim /etc/my.cnf
[mysqld]
log-bin=/data/mysql/logbin/mysql-bin
##**注意：log-bin后面跟的是二进制日志文件头部，必须写上，否则mysql服务无法启动**
##**注意：二进制文件，最好和数据分别放在不同的文件或磁盘，以便于二进制文件进行恢复备份
systemctl restart mysqld
mkdir -p /data/mysql/logbin/
chown -R mysql.mysql /data/mysql/logbin/

radish.-

发布了39 篇原创文章 · 获赞 2 · 访问量 1041

私信关注

初探MySQL之日志

日志管理

1.1 事务日志

1.1.1 事务日志介绍

1.1.2 Innodb事务日志相关配置

1.1.3 事务日志性能优化

1.2 错误日志

1.2.1 错误日志

1.2.2 错误文件路径

1.2.3 是否记录警告信息至错误日志文件

1.3 通用日志

1.3.1通用日志相关设置

1.4 慢查询日志

1.4.1 慢查询相关变量

1.4.2 使用profile工具

1.5 二进制日志 #重点内容

1.5.1 二进制日志记录三种格式

1.5.2 格式配置

1.5.3 二进制日志文件的构成

1.5.4 二进制日志相关的服务器变量

1.5.5 二进制日志相关配置

1.5.5.1 查看mariadb自行管理使用中的二进制日志文件列表，及大小

1.5.5.2 查看使用中的二进制日志文件

1.5.5.3 查看二进制文件中的指定内容

1.5.5.4 mysqlbinlog：二进制日志的客户端命令工具

1.5.6 二进制日志事件的格式

1.5.7 清除指定二进制日志

1.5.8 删除所有二进制日志，index文件重新记数

1.5.9 切换日志文件

1.5.10 开启二进制日志文件，系统默认不开启

猜你喜欢