CloudCanal Free Community Edition は、 ClouGence によって発売された、完全に自社開発された、視覚的で自動化されたデータ移行 および同期ツールです。構造移行、データ移行、データ同期、データ検証、データ修正 などの機能があり、 30 以上の一般的なデータ移行および同期ツールをサポートしています。リレーショナル データベース、リアルタイム データ ウェアハウス、メッセージ ミドルウェア、キャッシュ データベース、および国内データベース OceanBase、PolarDB、TiDB、 StarRocks、Doris、RocketMQなどを含む検索エンジン データの相互運用性。
オープンソースプロジェクト CloudCanalProcessと組み合わせることで 、以下の機能を簡単に実装できます
- Wide-table : 主にファクト テーブルと 1 次元テーブルの結合処理を含むワイド テーブル データ処理プラグイン
- data-transform : 操作の変更、追加フィールドの追加、データのクリーニングとバックフィルなどの一般的なデータ変換プラグイン
- data-gather : サブデータベース、テーブル、垂直分割、およびリモート データをリアルタイムで集約するデータ集約プラグイン
- data-compare : データ比較プラグイン。ソース データの変更に基づいてビジネス調整を実行します。
- business-alert : データ変化の傾向に基づいて対応するアラートを作成できるビジネス アラート プラグイン。
CloudCanal製品の機能は、Alibaba Cloud DTS、Amazon DMS、StreamSets、AirByte と連携しており、開発者、DBA、運用保守の学生がオンライン データ アプリケーションを迅速に構築できるようにします。
リリースノート
主な機能
- Hana 1.x バージョンのサポート 現在、サポートされている Hana バージョンは 1.x と 2.x です。
- Hana 増分タスクのカスタム増分テーブルをサポート
- サブスクリプションキャンセルテーブルを変更した後にトリガーを自動的に削除するように Hana をサポートします
新機能
- MySQL <-> トンネル <-> MySQL の双方向同期をサポートします。これには、追加、削除、変更操作 (DDL を除く) が含まれます。この機能は、MySQL 双方向同期の拡張バージョンです。両端のデータベースは、パブリックネットワークアドレスを公開する。
- Alibaba Cloud のフルマネージド SelectDB をサポート
- StarRocks、Doris、SelectDB、Oracle、MariaDB がピアエンドの前にデータを完全にクリアする機能をサポートしているため、ユーザーはデータの再移行と同期が容易になります。
- MySQL、OceanBase、TiDB、StarRocks、Doris、SelectDB、Oracle、MariaDB、ピア作成タスクまたはピア テーブルを再構築するためのサブスクリプションの変更をサポート
- MySQL -> TiDB/OceanBase リンク同期をサポート オンライン DDL ツール ステートメント
- サポート タスクの詳細 > その他の機能 > タスク構成の変更 (フル ボリュームの前のピア データ スイッチのクリア、タスク作成時のピア テーブル スイッチの再構築、スケジュールされた完全/増分 Java Cron 式の変更など)
- MySQL のサポート -> MySQL 作成タスクの 2 番目のステップで DROP 操作を確認できます
- 期間に基づいてタスクアラームを閉じることをサポートします
- バッチでフィルタリングできるタスク フィルタリング テーブルの作成をサポートします。つまり、テーブル選択ページに table1;table2;table3;...tableN を貼り付けて検索し、自動的にチェックできるため、ユーザーがテーブルを選択する際の複雑な問題を解決できます。タスクを作成します。
- 別のマシンへのタスクのバッチ スケジューリングをサポートし、手動タスク スケジューリングの効率を向上させます。
- CloudCanal をサポートして LicenseID を表示し、後続のユーザーがライセンス有効期限のリマインダー情報を確認できるようにします。
最適化する
- Redis <-> Redis双方向同期アンチループ戦略を最適化し、より多くの命令の双方向同期アンチループをサポートします。
- Redisの最適化-> Set、ZSet、List タイプのデータ初期化を含む Redis データ初期化機能
- Redisの最適化-> Redis命令セット Rename、Incr、Incrby、Hsetnx、Hmset、Lpush、Rpush、Lset、Sadd、Zadd、Zrem、Zremrangebyscore
- Bytes 型をサポートするように Kafka Debezium Json を最適化します (具体的な参考資料:ソース Kafka Debezium Json の使用手順 )
- ソースエンド スタブとして TiDB のタイムアウト処理ロジックを最適化し、タイムアウトのパッシブ レポートをアクティブ レポートに調整し、再起動せずにタスクを実現し、リージョンに再サブスクライブします。
- テーブル情報を取得するソース ソリューションとして TiDB を最適化し、複数テーブル情報の取得速度を大幅に最適化します。
- マルチバージョンのテーブル構造を維持し、期限切れのテーブル構造をプロアクティブにクリーンアップするためのソースエンド戦略として TiDB を最適化します。
- TiDB をソース DML イベント シンク条件として最適化し、DDL と DML の消費をより秩序正しく行い、データの不整合のリスクを軽減します。
- ソースエンドのエラー イベント処理ソリューションとして TiDB を最適化し、リージョン増分スキャンの消費時間を削減します。
- TiDB をソースエンドのパフォーマンス指標チャートとして最適化し、5 つの新しい指標 (CDC 送信イベントの総数、10 秒以内のリージョン例外の総数、10 秒以内にアクティブなリージョンの総数、増分タスク内のリージョンの総数) を追加します。スキャンフェーズ、リージョンの総数)
- 新しいバージョン構造を使用して MariaDB -> Oracle、Oracle -> Oracle の移行を最適化する
- PostgreSQL/MySQL -> StarRocks Json型フィールド同期の最適化（マッピングルールの最適化）
- サブスクリプションを最適化および変更する場合、ルール マッピングは新しく追加されたテーブルにのみ適用されます。
- 定期購入ページを最適化および変更して、クリックが繰り返されないようにする
- CloudCanal がアクティブ化されていないときにコンソール監視情報を表示できないように最適化して、ユーザーがアクティブ化されていないときに現在のコンソールのステータスを表示できるようにします。
問題の修正
- Hana ソーステーブル内のフィールドが多すぎるため、トリガーの作成時にエラーが発生する問題を修正しました。
- 主キーのない Hana テーブル作成タスクでのエラー報告の問題を修正しました。
- Hana の小文字のスキーマ/テーブル/列作成タスクのレポート エラーの問題を修正しました。
- 主キーテーブルを使用しない Hana 増分同期でデータ挿入が繰り返される問題を修正
- Hana ソースからタスクを削除するときに、複数のサブスクリプション テーブルのトリガーが誤って削除される問題を修正しました。
- Hana ソースのインクリメンタルフェーズデータの特殊文字による解析エラーの問題を修正しました。
- データ検証タスク ページに欠落、一貫性のない、一貫性のない結果が表示される問題を修正しました。
- SQL Server 増分同期における LSN サイトの並べ替えの変更によって引き起こされる同期中断の問題を修正しました。
- 大きなテーブルのソースとしての TiDB への複数のリージョンのサブスクリプションによって引き起こされるタイムアウトの問題を修正し、タイムアウト期間の設定をサポートします。
- ソース タスクの場所が GC セーフ ポイントより小さいため、TiDB によって引き起こされるデータの不整合の問題を修正しました。
- ソースエンドとしての TiDB などの非同期ビジネス DDL によって引き起こされる解析例外の問題を修正します。 データベースの作成...
- TiDB ソース v6.5.0 以降で時間精度が原因で発生するインクリメンタル GC セーフ ポイント検出エラーの問題を修正しました。
- MySQL -> Doris 構造移行コメントがピアに同期されない問題を修正しました
- MySQL -> StarRocks DDL で新しいカラムのデフォルト値が欠落している問題を修正しました。
- MySQL -> StarRocks DDL が Not Null で列プロパティを変更すると同期エラーが発生する問題を修正しました
- MySQL -> StarRocks DDL の新しい Text 型フィールドの同期が失敗する問題を修正しました
- 無効な MySQL -> Oracle テーブル マッピングの問題を修正
- PostgreSQL -> MySQL が同じテーブルに対して複数の加算/減算操作を実行するようにサブスクリプションを変更すると、タスク エラーが報告される問題を修正しました。
- ミッションを再実行した後、増分位置がリセットされない問題を修正しました。
- Oracle ピアに外部ホストしかない場合にタスクを削除できない問題を修正しました。
- Oracle -> Oracle スキーマが存在しない場合に、サブスクリプションを変更するか、同様のタスクを作成するときに、ターゲット スキーマがデフォルトでパブリックに設定される問題を修正しました。
- Kafka/MQ -> MySQL 作成タスク ページのメッセージ構造表示が実際の選択内容と一致しない問題を修正しました。
- PostgreSQL -> StarRocks の変更とサブスクリプションの間の元のマッピング関係が無効になる問題を修正しました。
- 構造移行タスクで同様のタスクを作成するときのエラー報告の問題を修正しました。
- ファイルポイントをリセットするとタイムポイントが誤って変更される問題を修正しました。