MySQLデータベースのログ管理、バックアップ、およびリカバリ
記事のディレクトリ
準備:最初にデータベースとテーブルを作成します
mysql -u root -p
create database SCHOOL;
use SCHOOL;
create table class (id int(10) not null,name varchar(10) not null,cardid varchar(18),phone varchar(11),address varchar(50));
desc class;
insert into class values (1,'zhangsan','12','111111','nanjing');
insert into class values (4,'lisi','123','444444','suzhou');
insert into class values (2,'wangwu','1234','222222','beijing');
insert into class values (5,'zhaoliu','12345','555555','nanjing');
insert into class values (3,'qianqi','123456','333333','shanghai');
select * from class;
データを挿入し、テーブル構造を表示します
1つは、MySQLログ管理です。
MySQLログのデフォルトの保存場所は/ usr / local / mysql / dataです。
1.1MySQLログ分類
- エラーログ
- 一般的なクエリログ
- バイナリログ
- 遅いクエリログ
1.2MySQLログがオンになっている
- MySQL構成ファイルを永続的に修復する
vim /etc/my.cnf
[mysqld]
##错误日志,用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启
#指定错误日志的保存位置和文件名
log-error=/usr/local/mysql/data/mysql_error.log
##通用查询日志,用来记录MySQL的所有连接和语句,默认是关闭的
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
##二进制日志(binlog),用来记录所有更新了数据或者已经潜在更新了数据的语句,记录了数据的更改,可用于数据恢复,默认已开启
log-bin=mysql-bin
#也可以 log_bin=mysql-bin
##慢查询日志,用来记录所有执行时间超过long_query_time秒的语句,可以找到哪些查询语句执行时间长,以便于优化,默认是关闭的
slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log
long_query_time=5 #设置超过5秒执行的语句被记录,缺省时为10秒
systemctl restart mysqld.service
1.3データベースに入り、対応するログが有効になっているかどうかを確認します
1)一般的なクエリログが有効になっているかどうかを確認します
mysql -u root -p
show variables like 'general%';
2)バイナリログがオンになっているかどうかを確認します
show variables like 'log_bin%';
3)遅いクエリログの関連機能を表示する
(1)スロークエリログ機能が有効になっているか確認してください
show variables like '%slow%';
(2)遅いクエリ時間設定を表示する
show variables like 'long_query_time';
(3)データベースで低速クエリを開始する方法を設定します-
以前に構成されており、デモンストレーションは行われません
set global slow_query_log=ON;
2、MySQLの完全バックアップとリカバリ
2.1データバックアップの重要性
- バックアップの主な目的は災害復旧です
- 実稼働環境では、データセキュリティが最も重要です
- データの損失は深刻な結果をもたらす可能性があります
2.2データ損失の原因
- プログラムエラー
- ヒューマンエラー
- 操作エラー
- ディスク障害
- 災害(火災、地震など)と盗難
2.3データベースバックアップの分類
1)物理学と論理学の観点からの分類
(1)物理バックアップ
- データベースオペレーティングシステムの物理ファイル(データファイル、ログファイルなど)のバックアップ
- 物理バックアップの方法
- コールドバックアップ(オフラインバックアップ):データベースが閉じられたときに実行されます
- ホットバックアップ(オンラインバックアップ):データベースは実行中であり、データベースのログファイルに依存します
- ウォームバックアップ:テーブルがロックされるとデータベースがバックアップされます(書き込み可能ではなく読み取り可能)
(2)論理バックアップ
- データベースロジックコンポーネント(テーブルなどのデータベースオブジェクトなど)のバックアップ
2)データベースバックアップ戦略の観点からの分類
(1)完全バックアップ
- 毎回データベースの完全バックアップを作成します
(2)差分バックアップ
- 最後の完全バックアップ以降に変更されたファイルをバックアップします
(3)増分バックアップ
- 最後の完全バックアップまたは増分バックアップの後に変更されたファイルのみがバックアップされます
2.4一般的なバックアップ方法
1)物理的なコールドスタンバイ
- データベースはバックアップ中に閉じられ、データベースファイルは直接パッケージ化されます
- バックアップ速度が速く、リカバリも最も簡単です
2)専用のバックアップツールmydumpまたはmysqlhotcopy
- mysqldumpに一般的に使用される論理バックアップツール
- mysqlhotcopyにはバックアップMyISAMテーブルとARCHIVEテーブルしかありません
3)増分バックアップのバイナリログを有効にする
- 増分バックアップの場合、バイナリログを更新する必要があります
4)サードパーティツールのバックアップ
- 無料のMySQLホットバックアップソフトウェアPerconaXtraBackup
2.5MySQLの完全バックアップ
1)コンセプト
- これは、データベース全体、データベース構造、およびファイル構造のバックアップです。
- 保存されるのは、バックアップが完了したときのデータベースです。
- 差分バックアップと増分バックアップの基礎です
2)完全バックアップの長所と短所
-
利点:
バックアップとリカバリのシンプルで便利な操作
-
短所:
データには多くの重複があります
多くのバックアップスペースを占有します
長いバックアップと復元時間
3)データベースの完全バックアップ分類
(1)物理的なコールドバックアップとリカバリ
- MySQLデータベースをシャットダウンします
- tarコマンドを使用して、データベースフォルダを直接パッケージ化します
- 既存のMySQLディレクトリを置き換えるだけです
(2)mysqldumpのバックアップとリカバリ
- MySQL独自のバックアップツールでMySQLのバックアップを簡単に実現できます
- 指定したライブラリとテーブルをSQLスクリプトとしてエクスポートできます
- コマンドmysqlを使用して、バックアップデータをインポートします
3.コールドデータベースのバックアップとリカバリおよび完全バックアップとリカバリの基本コマンド
3.1物理的なコールドバックアップとリカバリ
systemctl stop mysqld
yum -y install xz #xz是一个压缩工具
#压缩备份
tar Jcvf /opt/mysql_all_$(date +%F).tar.xz /usr/local/mysql/data/
#解压恢复
tar Jxvf /opt/mysql_all_2021-02-05.tar.xz -C /usr/local/mysql/data
systemctl start mysqld
3.2mysqldumpのバックアップとリカバリ
1)1つ以上の完全なライブラリ(すべてのテーブルを含む)の完全バックアップ
#导出的备份文件就是数据库脚本文件
mysqldump -u root -p[密码] --databases 库名1 [库名2] … > /备份路径/备份文件名.sql
例:
mysqldump -u root -p --databases school > /opt/school.sql
mysqldump -u root -p --databases mysql school > /opt/mysql-school.sql
2)MySQLサーバー内のすべてのライブラリの完全バックアップ
mysqldump -u root -p[密码] --all-databases > /备份路径/备份文件名.sql
例:
mysqldump -u root -p --all-databases > /opt/all.sql
3)指定されたライブラリ内のいくつかのテーブルの完全バックアップ
mysqldump -u root -p[密码] [-d] 库名 [表名1] [表名2] … > /备份路径/备份文件名.sql
#使用“ -d ”选项,说明只保存数据库的表结构
#不使用“ -d ”选项,说明表数据也进行备份
例:
mysqldump -u root -p school class > /opt/school_class.sql
4)バックアップファイルを表示する
cat /opt/备份的文件 |grep -v "^--" | grep -v "^/" | grep -v "^$"
例:
cat /opt/school_class.sql |grep -v "^--" | grep -v "^/" | grep -v "^$"
3.3MySQLの完全な回復
1)データベースを復元する
#“-e”选项,用于指定连接 MySQL 后执行的命令,命令执行完后自动退出
mysql -u root -p -e 'drop database school;'
mysql -u root -p -e 'show databases;'
mysql -u root -p < /opt/school.sql
mysql -u root -p -e 'show databases;'
2)データテーブルを復元します
注:バックアップファイルにテーブルのバックアップのみが含まれ、作成されたライブラリのステートメントが含まれていない場合、インポート操作の実行時にライブラリ名を指定する必要があり、ターゲットライブラリが存在する必要があります。
mysql -u root -p -e 'drop table school.class;'
mysql -u root -p -e 'show tables from school;'
mysql -u root -p school < /opt/school_class.sql
mysql -u root -p -e 'show tables from school;'
4、MySQLの増分バックアップおよびリカバリ方法
4.1MySQL増分バックアップ
1)バイナリログ機能をオンにします
vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
server-id = 1
binlog_format = MIXED #指定二进制日志(binlog)的记录格式为 MIXED
#二进制日志(binlog)有3种不同的记录格式:STATEMENT(基于SQL语句)、ROW(基于行)、MIXED(混合模式),默认格式是STATEMENT
systemctl restart mysqld.service
ls -l /usr/local/mysql/data/mysql-bin.*
2)データベースまたはテーブルの完全バックアップを毎週実行できます
#手动执行备份
mysqldump -u root -p school class > /opt/school_class_$(date +%F).sql
mysqldump -u root -p --all-databases > /opt/allmysql_$(date +%F).sql
#使用crontab -e 计划性任务来执行;每周1凌晨2点对表class和所有的库进行备份
0 2 * * 1 mysqldump -u root -p school class > /opt/school_class_$(date +%F).sql
0 2 * * 1 mysqldump -u root -p --all-databases > /opt/allmysql_$(date +%F).sql
注:この種のタイミングタスクは、crontab-eスケジュールされたタスクと組み合わせて実行できます。
3)増分バックアップ操作を毎日実行して、新しいバイナリログファイルを生成できます
mysqladmin -u root -p flush-logs
4)新しいデータを挿入して、データの増加または変更をシミュレートします
mysql -u root -p
use school;
insert into class values ('6','qqq','223366','666666','nanjing');
insert into class values ('7','www','666555','777777','changzhou');
5)新しいバイナリログファイルを再度生成します
mysqladmin -u root -p flush-logs
#之前的步骤4的数据库操作会保存到mysql-bin.000002文件中,之后数据库数据再发生变化则保存在mysql-bin.000003文件中
6)バイナリログファイルの内容を表示する
cp /usr/local/mysql/data/mysql-bin.000002 /opt/
mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002
#--base64-output=decode-rows:使用64位编码机制去解码并按行读取
#-v:显示详细内容
4.2MySQLインクリメンタルリカバリ
1)一般的な回復
(1)失われたデータと変更されたデータの回復手順をシミュレートします
mysql -u root -p
use school;
delete from class where id=6;
delete from class where id=7;
select * from class;
quit
mysqlbinlog --no-defaults /opt/mysql-bin.000002 | mysql -u root -p
mysql -u root -p -e "select * from school.class;"
(2)失われたすべてのデータの回復手順をシミュレートします
mysql -u root -p
use school;
drop table class;
show tables;
quit
mysql -uroot -p school < /opt/school_class_2021-02-24.sql
mysqlbinlog --no-defaults /opt/mysql-bin.000002 | mysql -uroot -p
mysql -u root -p -e "select * from school.class;"
2)ブレークポイントの回復
mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002
#部分二进制文件的内容
......
BEGIN
/*!*/;
##-------------解释:at xxx 表示位置点------------------------------------------------
# at 302
##--------------解释:开头210224 15:45:53表示时间,其他的现在用不到-----------------------------------
#210224 15:45:53 server id 1 end_log_pos 449 CRC32 0xe972def7 Query thread_id=6 exec_time=0 error_code=0
##--------------解释:这里是执行的操作语句---------------------
use `school`/*!*/; <-------------use school;使用数据库
SET TIMESTAMP=1612597553/*!*/; <------------建立时间戳
insert into class values ('6','qqq','223366','666666','nanjing') <-------向表中插入数据
/*!*/;
##---------------------------------------------------------------
# at 449
#210224 15:45:53 server id 1 end_log_pos 480 CRC32 0x5efde826 Xid = 446
COMMIT/*!*/;
# at 480
#210224 15:45:54 server id 1 end_log_pos 545 CRC32 0x11768895 Anonymous_GTID last_committed=1 sequence_number=2 rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 545
#210224 15:45:54 server id 1 end_log_pos 628 CRC32 0x778ea5fa Query thread_id=6 exec_time=0 error_code=0
SET TIMESTAMP=1612597554/*!*/;
##-------------------------------插入第二个数据--------------------------
BEGIN
/*!*/;
# at 628
#210206 15:45:54 server id 1 end_log_pos 775 CRC32 0x66e3bb53 Query thread_id=6 exec_time=0 error_code=0
SET TIMESTAMP=1612597554/*!*/;
insert into class values ('7','www','666555','777777','changzhou')
/*!*/;
# at 775
#210224 15:45:54 server id 1 end_log_pos 806 CRC32 0x7b972395 Xid = 447
COMMIT/*!*/;
# at 806
#210224 15:48:52 server id 1 end_log_pos 853 CRC32 0x0d77c456 Rotate to mysql-bin.000003 pos: 4
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
.......
(1)場所に基づいて復元する
位置「628」より前のデータにのみ復元します。つまり、「id = 7」のデータは復元しません。
#模拟数据丢失
mysql -uroot -p123456 school < /opt/school_class_2021-02-24.sql
mysql -uroot -p123456 -e "select * from school.class;"
#到位置点628停止恢复数据
mysqlbinlog --no-defaults --stop-position='628' /opt/mysql-bin.000002 | mysql -uroot -p123456
#查看class表的数据
mysql -uroot -p123456 -e "select * from school.class;"
「id = 7」のデータのみを復元し、「id = 6」のデータをスキップします
#模拟数据丢失
mysql -uroot -p123456 school < /opt/school_class_2021-02-24.sql
mysql -uroot -p123456 -e "select * from school.class;"
#从位置点628开始恢复数据
mysqlbinlog --no-defaults --start-position='628' /opt/mysql-bin.000002 | mysql -uroot -p123456
#查看class表的数据
mysql -uroot -p123456 -e "select * from school.class;"
(2)特定の時点に基づく回復
210224 15:45:54より前のデータのみを復元します。つまり、「id = 7」のデータは復元しません。
#模拟数据丢失
mysql -uroot -p123456 school < /opt/school_class_2021-02-24.sql
mysql -uroot -p123456 -e "select * from school.class;"
#到2021-02-24 15:45:54截止恢复数据
mysqlbinlog --no-defaults --stop-datetime='2021-02-24 15:45:54' /opt/mysql-bin.000002 | mysql -uroot -p123456
#查看class表的数据
mysql -uroot -p123456 -e "select * from school.class;"
「id = 7」のデータのみを復元し、「id = 6」のデータ復元をスキップします
#模拟数据丢失
mysql -uroot -p123456 school < /opt/school_class_2021-02-24.sql
mysql -uroot -p123456 -e "select * from school.class;"
#从2021-02-24 15:45:54开始恢复数据
mysqlbinlog --no-defaults--start-datetime='2021-02-24 15:45:54' /opt/mysql-bin.000002 | mysql -uroot -p123456
#查看class表的数据
mysql -uroot -p123456 -e "select * from school.class;"
概要:ブレークポイントから復元
して特定のSQLステートメントの前にすべてのデータを復元する場合は、ロケーションノードまたはステートメントの時点で停止します。
特定のSQステートメントとその後のすべてのデータを復元する場合は、ロケーションノードから開始します。またはステートメントの時点
mysqlbinlog --no-defaults --start-position='449' --stop-position='806' /opt/mysql-bin.000002 | mysql -uroot -p #恢复位置从449到806之间的数据