著者: ユウ・ジェンシン
Acson DBA チームのメンバーで、テクノロジーの共有と技術ドキュメントの作成に熱心です。
この記事の出典: 元の寄稿
- Aikesheng オープンソース コミュニティによって作成されており、オリジナルのコンテンツを許可なく使用することはできません。転載する場合は編集者に連絡し、出典を明示してください。
背景情報
データベースの下位バージョンから上位バージョンへのデータ移行またはアップグレードのプロセスでは、下位バージョンのデータベース パラメータの設定が緩いため、挿入された時刻データが仕様を満たしていないことがよくあります。問題ですが、このような不規則なデータを事前に発見する方法はありますか? 以下に、Oracle と MySQL を参考にして実現可能な解決策を示します。
Oracle 時間データの検証方法
2.1 テストテーブルの作成とテストデータの挿入
CREATE TABLE T1(ID NUMBER,CREATE_DATE VARCHAR2(20));
INSERT INTO T1 SELECT 1, '2007-01-01' FROM DUAL;
INSERT INTO T1 SELECT 2, '2007-99-01' FROM DUAL; -- 异常数据
INSERT INTO T1 SELECT 3, '2007-12-31' FROM DUAL;
INSERT INTO T1 SELECT 4, '2007-12-99' FROM DUAL; -- 异常数据
INSERT INTO T1 SELECT 5, '2005-12-29 03:-1:119' FROM DUAL; -- 异常数据
INSERT INTO T1 SELECT 6, '2015-12-29 00:-1:49' FROM DUAL; -- 异常数据
2.2 テーブルのエラー ログ レコードを作成する
-
Oracle は
DBMS_ERRLOG.CREATE_ERROR_LOGパッケージを呼び出して SQL エラーを記録したり、異常なデータを記録したりすることができ、非常に便利です。 -
パラメータの意味は以下の通りです
T1テーブル名についてはT1_ERRORテーブル操作時のエラーを記録するための一時テーブルDEMOテーブルを所有するユーザーです
EXEC DBMS_ERRLOG.CREATE_ERROR_LOG('T1','T1_ERROR','DEMO');
2.3 一時テーブルを作成してデータを挿入し、時刻データの有効性を検証する
-- 创建临时表做数据校验
CREATE TABLE T1_TMP(ID NUMBER,CREATE_DATE DATE);
-- 插入数据到临时表验证时间数据有效性（增加LOG ERRORS将错误信息输出到错误日志表）
INSERT INTO T1_TMP
SELECT ID, TO_DATE(CREATE_DATE, 'YYYY-MM-DD HH24:MI:SS')
FROM T1
LOG ERRORS INTO T1_ERROR REJECT LIMIT UNLIMITED;
2.4 検証エラー記録
SELECT * FROM DEMO.T1_ERROR;
ID 列はテーブルの主キーであり、異常なデータ行をすばやく見つけるために使用できます。
MySQL データベースのメソッド
3.1 低バージョンの非標準データをシミュレートするテスト テーブルを作成する
-- 创建测试表
SQL> CREATE TABLE T_ORDER(
ID BIGINT AUTO_INCREMENT PRIMARY KEY,
ORDER_NAME VARCHAR(64),
ORDER_TIME DATETIME);
-- 设置不严谨的SQL_MODE允许插入不规范的时间数据
SQL> SET SQL_MODE='STRICT_TRANS_TABLES,ALLOW_INVALID_DATES';
SQL> INSERT INTO T_ORDER(ORDER_NAME,ORDER_TIME) VALUES
('MySQL','2022-01-01'),
('Oracle','2022-02-30'),
('Redis','9999-00-04'),
('MongoDB','0000-03-00');
-- 数据示例
SQL> SELECT * FROM T_ORDER;
+----+------------+---------------------+
| ID | ORDER_NAME | ORDER_TIME |
+----+------------+---------------------+
| 1 | MySQL | 2022-01-01 00:00:00 |
| 2 | Oracle | 2022-02-30 00:00:00 |
| 3 | Redis | 9999-00-04 00:00:00 |
| 4 | MongoDB | 0000-03-00 00:00:00 |
+----+------------+---------------------+
3.2 データ規範検証用の一時テーブルの作成
-- 创建临时表，只包含主键ID和需要校验的时间字段
SQL> CREATE TABLE T_ORDER_CHECK(
ID BIGINT AUTO_INCREMENT PRIMARY KEY,
ORDER_TIME DATETIME);
-- 设置SQL_MODE为5.7或8.0高版本默认值
SQL> SET SQL_MODE='ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
-- 使用INSERT IGNORE语法插入数据到临时CHECK表，忽略插入过程中的错误
SQL> INSERT IGNORE INTO T_ORDER_CHECK(ID,ORDER_TIME) SELECT ID,ORDER_TIME FROM T_ORDER;
3.3 データの比較
一時テーブルと公式テーブルの間で関連付けられたクエリを実行し、矛盾したデータを比較します。
SQL> SELECT
T.ID,
T.ORDER_TIME AS ORDER_TIME,
TC.ORDER_TIME AS ORDER_TIME_TMP
FROM T_ORDER T INNER JOIN T_ORDER_CHECK TC
ON T.ID=TC.ID
WHERE T.ORDER_TIME<>TC.ORDER_TIME;
+----+---------------------+---------------------+
| ID | ORDER_TIME | ORDER_TIME_TMP |
+----+---------------------+---------------------+
| 2 | 2022-02-30 00:00:00 | 0000-00-00 00:00:00 |
| 3 | 9999-00-04 00:00:00 | 0000-00-00 00:00:00 |
| 4 | 0000-03-00 00:00:00 | 0000-00-00 00:00:00 |
+----+---------------------+---------------------+
ちょっとしたトリック
正規表現を使用して時間フィールドを照合し、厳密な要件に対しては上記の方法を使用します。通常の照合は頭を使います。
-- Oracle 数据库
SELECT * FROM T1 WHERE NOT REGEXP_LIKE(CREATE_DATE,'^((?:19|20)\d\d)-(0[1-9]|1[012])-(0[1-9]|[12][0-9]|3[01])$');
ID CREATE_DATE
---------- --------------------
2 2007-99-01
4 2007-12-99
5 2005-12-29 03:-1:119
6 2015-12-29 00:-1:49
-- MySQL 数据库
-- 略，匹配规则还在调试中
SQLEについて
Akson オープン ソース コミュニティの SQLE は、データベース ユーザーおよび管理者向けの SQL 監査ツールです。これは、マルチシナリオ監査をサポートし、標準化されたオンライン プロセスをサポートし、MySQL 監査をネイティブにサポートし、スケーラブルなデータベース タイプを備えています。
SQL取得
| タイプ | 住所 |
|---|---|
| リポジトリ | https://github.com/actiontech/sqle |
| 書類 | https://actiontech.github.io/sqle-docs/ |
| リリースニュース | https://github.com/actiontech/sqle/releases |
| データ監査プラグイン開発ドキュメント | https://actiontech.github.io/sqle-docs-cn/3.modules/3.7_auditplugin/auditplugin_development.html |