PT-アーカイバアーカイブデータ・ソースとターゲットライブラリは、一貫性のない表示されるかどうか

その他 2019-09-30 06:02:58 訪問数: null

背景

  • アーカイブ表には、ソースとターゲットライブラリに存在している必要があります
  • シーンPT-アーカイバアーカイブ表のとおりです。元のテーブルデータ、非一括挿入ターゲットライブラリは削除されません。元のテーブルのデータを削除しない、一括挿入対象のライブラリー;非バルク元のテーブルのデータを削除し、非一括挿入ターゲットライブラリを、バッチは、元のテーブルのデータを削除、一括挿入ターゲット・ライブラリー

バージョン
PT-アーカイバ--version
PT-アーカイバ3.0.12

バージョンを@@選択します。
+ ----------- +
| @@バージョン|
+ ----------- +
| 8.0.12 |
+ ----------- +

矛盾があるかどうか

  • ソースライブラリが削除されている、まだターゲット・データベースを挿入
  • ターゲットライブラリすでにまだソースデータベースを削除、挿入

インサート--bulk
データのバッチのために一時ファイルを作成するために、ラインによって挿入ラインに比べて、LOAD DATAのINFILEの方法を使用して、データ取得の数が完了すると、データは、第1の一時ファイルに書き込まれ、その後、インポート操作、加速ターゲットライブラリの挿入速度

--bulk-削除
バッチDELETEステートメントを使用してデータの行数が終了し、削除します

10万レコードを生成します

sysbench /usr/local/share/^Csbench/oltp_read_write.lua --mysql_storage_engine = InnoDBの--tableサイズ= 100000 --tables = 1 --mysql-DB = test_archiver --mysqlユーザー=管理者--mysqlパスワード=管理--mysqlポート= 8013 --mysqlホスト= 127.0.0.1 --threads = 8 --time = 10 --report間隔= 1 --events = 0 --dbドライバ= MySQLの準備

ソースとターゲットライブラリは、一貫性のない別のインスタンスでテストされるかどうか

ソースライブラリ
192.168.137.133:test_archiver

ターゲットライブラリ
192.168.137.1:test_archiver

オープンログgerneral
に=グローバルgeneral_logを設定します。

5000ごとに各撮影プロセスは10000を記録し、コミット記録

nohupをするPT-アーカイバ--source H = 127.0.0.1、U =管理、P =管理、P = 8013、D = test_archiver、T = sbtest1 --dest H = 192.168.137.1、U =管理、P =管理、P = 3306、D = test_archiver --progress千--where "ID <100000" --statistics --limit 10000 --sleep 10 --no-チェック文字セット--txnサイズ5000 --bulk、削除--bulk -insert＆

ミッドウェイPT-アーカイバのアーカイブプロセスを殺す、ソースとターゲットライブラリは一貫性のない表示されません
グレップのPT-アーカイバ| |のps -efのawk「{$ 2印刷を}」| xargsが殺す-9

ターゲットライブラリ

select id from sbtest1 order by  id  desc limit 1;
+-------+
| id    |
+-------+
| 10000 |
+-------+
1 row in set (0.00 sec)

ソースライブラリ

select id from sbtest1 order by id   limit 1;
+-------+
| id    |
+-------+
| 10001 |
+-------+
1 row in set (0.00 sec)

文を実行するためのソースライブラリ

2019-08-21T07:02:58.600832Z        56 Connect   [email protected] on test_archiver using TCP/IP
2019-08-21T07:02:58.601186Z        56 Query     set autocommit=0
...
2019-08-21T07:02:58.966036Z        56 Query     SELECT MAX(`id`) FROM `test_archiver`.`sbtest1`
2019-08-21T07:02:58.967807Z        56 Query     SELECT CONCAT(@@hostname, @@port)
2019-08-21T07:02:58.989394Z        56 Query     SELECT /*!40001 SQL_NO_CACHE */ `id`,`k`,`c`,`pad` FROM `test_archiver`.`sbtest1` FORCE INDEX(`PRIMARY`) WHERE (id<100000) AND (`id` < '100000') ORDER BY `id` LIMIT 10000
...
2019-08-21T07:02:59.275620Z        56 Query     commit
...
019-08-21T07:02:59.532682Z        56 Query     commit
2019-08-21T07:02:59.834194Z        56 Query     SELECT 'pt-archiver keepalive'
2019-08-21T07:02:59.834835Z        56 Query     DELETE FROM `test_archiver`.`sbtest1` WHERE (((`id` >= '1'))) AND (((`id` <= '10000'))) AND (id<100000) LIMIT 10000
2019-08-21T07:03:09.958289Z        56 Query     SELECT /*!40001 SQL_NO_CACHE */ `id`,`k`,`c`,`pad` FROM `test_archiver`.`sbtest1` FORCE INDEX(`PRIMARY`) WHERE (id<100000) AND (`id` < '100000') AND ((`id` >= '10000')) ORDER BY `id` LIMIT 10000
...
2019-08-21T07:03:10.215958Z        56 Query     commit
...
2019-08-21T07:03:10.670937Z        56 Query     commit
2019-08-21T07:03:10.904398Z        56 Query     SELECT 'pt-archiver keepalive'
2019-08-21T07:03:10.904715Z        56 Query     DELETE FROM `test_archiver`.`sbtest1` WHERE (((`id` >= '10001'))) AND (((`id` <= '20000'))) AND (id<100000) LIMIT 10000  ====》( 该语句由于没有commit 语句会rollback )

ターゲットライブラリは、ステートメントを実行します

2019-08-21T07:03:00.317343Z        33 Connect   [email protected] on test_archiver using TCP/IP
2019-08-21T07:03:00.338390Z        33 Query     set autocommit=0
...
2019-08-21T07:03:00.633938Z        33 Query     SELECT CONCAT(@@hostname, @@port)
2019-08-21T07:03:00.920655Z        33 Query     commit
2019-08-21T07:03:01.177267Z        33 Query     commit
2019-08-21T07:03:01.199046Z        33 Query     LOAD DATA LOCAL INFILE '/tmp/jaGuzZfjSept-archiver' INTO TABLE `test_archiver`.`sbtest1`(`id`,`k`,`c`,`pad`) （插入了 1=<id <=10000的记录）
2019-08-21T07:03:11.850618Z        33 Query     commit
2019-08-21T07:03:12.315829Z        33 Query     commit
2019-08-21T07:03:12.337323Z        33 Query     LOAD DATA LOCAL INFILE '/tmp/GQ2ybc3KCzpt-archiver' INTO TABLE `test_archiver`.`sbtest1`(`id`,`k`,`c`,`pad`)  ====》( 该语句由于没有commit 该语句会rollback ，并在 机器/tmp 目录下留下临时文件)

ll /tmp/GQ2ybc3KCzpt-archiver
-rw------- 1 root root 1920000 Aug 21 15:03 /tmp/GQ2ybc3KCzpt-archiver
  • ログから見ると、操作ソースライブラリ（07：03：10.215958Z）を削除コミット時（07：11.850618Z：03）までの時間ターゲットライブラリの挿入操作をコミットにあるアーカイブソースライブラリを削除するときに発生する可能性がある、ターゲットケースはまだライブラリを挿入していません
  • 異なるインスタンス上のソースとターゲットライブラリは、矛盾タイムクロックの異なる例が発生したコミットに表示されgeneral_log影響します

ソースとターゲットライブラリは、同じインスタンスに一貫性のないテストを表示するかどうか

ソースライブラリ
192.168.137.133:test_archiver

ターゲットライブラリ
192.168.137.133:test_archiver2

10万レコードを再生するためのテストデータを削除します

sysbench /usr/local/share/sysbench/oltp_read_write.lua --mysql_storage_engine = InnoDBの--tableサイズ= 100000 --tables = 1 --mysql-DB = test_archiver --mysqlユーザー=管理者--mysql、パスワード=管理--mysqlポート= 8013 --mysqlホスト= 127.0.0.1 --threads = 8 --time = 10 --report間隔= 1 --events = 0 --dbドライバ= MySQLのクリーンアップ

sysbench /usr/local/share/sysbench/oltp_read_write.lua --mysql_storage_engine = InnoDBの--tableサイズ= 100000 --tables = 1 --mysql-DB = test_archiver --mysqlユーザー=管理者--mysql、パスワード=管理--mysqlポート= 8013 --mysqlホスト= 127.0.0.1 --threads = 8 --time = 10 --report間隔= 1 --events = 0 --dbドライバMySQLの準備=

処理された各撮影10万レコードごとに100,000レコードをコミット
PT-アーカイバ--source H = 127.0.0.1、 U =管理、P =管理、P = 8013、D = test_archiver、T = sbtest1 --dest H = 127.0.0.1、U =管理、 P =管理、P = 8013、D = test_archiver2 --progress千--where "ID <100000" --statistics --sleep 10 --limit 100000 --no-check- 文字セット--txnサイズ100000 --bulk-削除 --bulk-挿入

ソースとターゲットライブラリは、ステートメントを実行します


2019-08-22T01:50:35.672490Z         9 Connect   [email protected] on test_archiver using TCP/IP
2019-08-22T01:50:35.673125Z         9 Query     set autocommit=0
...
2019-08-22T01:50:35.685987Z        10 Connect   [email protected] on test_archiver2 using TCP/IP
2019-08-22T01:50:35.686278Z        10 Query     set autocommit=0
...
2019-08-22T01:50:35.708866Z         9 Query     SELECT /*!40001 SQL_NO_CACHE */ `id`,`k`,`c`,`pad` FROM `test_archiver`.`sbtest1` FORCE INDEX(`PRIMARY`) WHERE (id<100000) AND (`id` < '100000') ORDER BY `id` LIMIT 100000
...
2019-08-22T01:50:40.242371Z        10 Query     LOAD DATA LOCAL INFILE '/tmp/X5W2UemPgDpt-archiver' INTO TABLE `test_archiver2`.`sbtest1`(`id`,`k`,`c`,`pad`)
2019-08-22T01:50:43.692914Z         9 Query     SELECT 'pt-archiver keepalive'
2019-08-22T01:50:43.693411Z         9 Query     DELETE FROM `test_archiver`.`sbtest1` WHERE (((`id` >= '1'))) AND (((`id` <= '99999'))) AND (id<100000) LIMIT 100000
2019-08-22T01:50:58.603351Z         9 Query     SELECT /*!40001 SQL_NO_CACHE */ `id`,`k`,`c`,`pad` FROM `test_archiver`.`sbtest1` FORCE INDEX(`PRIMARY`) WHERE (id<100000) AND (`id` < '100000') AND ((`id` >= '99999')) ORDER BY `id` LIMIT 100000
2019-08-22T01:50:58.606390Z        10 Query     commit
2019-08-22T01:50:58.717251Z         9 Query     commit
2019-08-22T01:50:58.780614Z        10 Quit
2019-08-22T01:50:58.781480Z         9 Quit
  • 一般的なログからのバルクソースライブラリを削除する前に、ターゲット・ライブラリーの大部分が挿入され、見える、ターゲット・ライブラリーの挿入操作（01：50：58.606390Zを）コミット操作も削除ソースデータベースにコミット（58.717251Z：01：50）前
  • *** 0.11sでコミットオブジェクトライブラリの実行、PT-アーカイバ異常終了（この確率は非常に小さい＃_＃）で、ソースライブラリの間、ソースリポジトリの出現、操作がロールバックされ、削除、実行されないコミット一貫性のないデータとオブジェクトライブラリの問題***

注
MySQL8.0は、ロードデータINFILEコマンドセットsecure_file_priv加算を行う[クライアント]でローカルINFILE = 1を設定する必要があり、[mysqldを】そうでない場合、エラーがあるだろう、で
DBD :: MySQLの:: STが失敗実行：使用されるコマンドでありますこのMySQLバージョンでは使用できません

PT-アーカイバは、コミット

  • 関連するコードの動作は、ターゲットライブラリに表示されている動作が完了し、コミット、ソースライブラリがコミットする準備ができていました
  • 大量のデータの操作におけるトランザクションは、時間のかかる操作（オペレーションがロールバックされます削除し、ソース・データベースがまだ完了していないコミット）PT-アーカイバ異常終了後、比較的長くなり、目標があるだろうソース・データベースがコミット削除する場合ライブラリが存在するデータは既に、ライブラリは、ソースデータの不整合を削除されていません
 7068       if ( $dst ) {
   7069          trace('commit', sub {
   7070             $dst->{dbh}->commit;
   7071          });
   7072       }
   7073       trace('commit', sub {
   7074          $src->{dbh}->commit;
   7075       });
   7076       $txn_cnt = 0;
   7077    }
   7078 }

結論

  • 非コミットアーカイブPT-アーカイバ、PT-アーカイバ異常終了時には、ソースとターゲットライブラリはロールバックされ、不整合を表示されません。
  • 、ターゲットライブラリが既に挿入していない場合も、ソースライブラリを削除：PT-アーカイバが異常コミットの時点で終了、不整合が発生する可能性があります
  • PT-アーカイバ異常終了（時間で終了し、手動など、PTのプロセスを殺すアーカイブされていない）した後、手動でソースとターゲット・データベースライブラリの主キーをチェックする必要があり、そうでない場合は、アーカイブが主キーの競合エラーになりますが、再び表示されます

詳細なPT-アーカイバアーカイブツールを使用します

アーカイバ-PT
PT-アーカイバのデータアーカイブ

おすすめ

転載: www.cnblogs.com/YangJiaXin/p/11610217.html
おすすめ
ランキング
求1到10的阶乘相加值
除数無限のアルゴリズムので、
いいえ公共、オープンプラットフォームとマイクロチャネル公共プラットフォームを微信ありません
ログの形式でSQL出力
アンドリュースORMフレームワークの基本的な使用GreenDao
MySQL基础教程13——函数——流程控制函数
Go build构建包
LeetCode刷题——排序链表#148#Medium
Python difflib の使用
カール送信httpリクエスト
アーカイブ
もっと
2024-06-13(0)
2024-06-12(0)
2024-06-11(0)
2024-06-10(0)
2024-06-09(0)
2024-06-08(0)
2024-06-07(0)
2024-06-06(0)
2024-06-05(0)
2024-06-04(0)

コードワールド

© 2018 codetd.com