Apache Ignite 2.15.0 リリース、スナップショット、CDC が大幅に改善

Apache Ignite リリース ノート

Apache Ignite 分散メモリ データベース 2.15.0

(!) 警告:

  • Ignite ノードの Daemon モードを削除しました。
  • 古い ignitevisorcmd ツールを削除しました。
  • 従来の JMX Bean ( ThreadPoolMXBeanCacheGroupMetricsMXBeanCacheMetricsMXBeanPersistenceMetricsMXBean)を削除しDataStorageMetricsMXBeanました。DataRegionMetricsMXBean
  • 冗長モジュールignite-springのモジュール依存関係を削除ignite-indexingIgnite で SQL を実行して Maven を使用する必要がある場合は、使用する SQL エンジンを指定する必要がありignite-indexingますignite-calcite
  • ignite-sshモジュールを拡張ライブラリに移行します。
  • デフォルト値が に変更された非推奨のSqlFieldsQueryフラグlazytrue
  • デフォルトでは、トランザクション内のヤード キャッシュに対する操作は無効になっています。このような操作を許可する場合は、システム プロパティをIGNITE_ALLOW_ATOMIC_OPS_IN_TXとして構成する必要がありますtrue

発火:

  • 増分スナップショット機能を追加。
  • キャッシュ オブジェクト変換機能を追加しました (暗号化、圧縮、またはデータ フィルタリングに使用できます)。
  • スナップショットは、ディスク ページ圧縮を有効にしたキャッシュをサポートします。
  • スナップショットは、プライマリ パーティションのデータのみをコピーする機能をサポートしています。
  • スナップショット リカバリ中にスナップショット チェックを無視するオプションが追加されました。
  • データ フローがデータをロードしている間にスナップショットを実行すると、例外がスローされ、一貫性が保証されません。
  • スナップショット操作の警告をメタデータ ストアに書き込みます。
  • スナップショットのインクリメンタル ページの並べ替えが追加されました。
  • スナップショット作成時のパーティション サイズとカウンター チェックを追加しました。
  • CONFIGURATIONシステム ビューを追加しました。
  • PAGE_LISTSシステム ビューにページの空き領域の列を追加しました。
  • クライアント接続 (シン クライアント、JDBC、ODBC) を強制終了するための API が追加されました。
  • ページの読み取り時間とページの交換時間のインジケーターを追加しました。
  • シン クライアント パーティション認識の関連インジケーターを追加しました。
  • CDC を無効にするグローバル属性を追加しました。
  • 最大 CDC ディレクトリ サイズの構成属性を追加しました。
  • CDC は有効期限ポリシーをサポートしています。
  • CDC 競合解決中の有効期限設定をサポートします。
  • CacheJdbcPojoStoreCLOBタイプのサポートが追加されましたBLOB
  • Java 15+ 環境では、不足しているものが追加されます--add-opens
  • PlatformDotNetSessionLockResultReflectionFactory一部のアプリケーション サーバーでの問題を回避するために、デフォルト コンストラクターを追加しました。
  • 構成済みを使用したネットワーク パーティション処理のサポートFailureHandler
  • .NET および C++ コンピューティング タスクは承認をサポートします。
  • クラスタ ノードの停止/開始/再起動操作は承認をサポートしています。
  • SQL ユーザー管理操作は承認をサポートします。
  • 新しいADMIN_CLUSTER_STATEアクセス許可を追加します (これは、クラスターの状態を変更するために必要な唯一のアクセス許可です)。
  • FQN を介してシステム コンピューティング タスクに付与されたアクセス許可は、事前定義されたシステム アクセス許可に置き換えられました。
  • リバランスと PME プロセスのロギングの改善。
  • JMX エクスポーターがデフォルトのメトリクス エクスポーターになりました。
  • 最適化されたインデックス再構築プロセス (インデックス再構築中は WAL が無効になります);
  • 永続性を有効にした大きなメモリ領域のフリーズ プロセスを最適化しました。
  • メモリ ページのゼロ化プロセスを最適化しました。
  • JDK17 環境でのラムダ シリアライゼーションの問題を修正しました。
  • Windows 環境でのディスクの断片化の問題を修正しました。
  • cache.invoke()書き込みキャッシュ実行メソッドが有効になっている場合の JDBC 接続メモリ リークの問題を修正しました。
  • データ エントリが WAL バッファ サイズより大きい場合のアトミック キャッシュのデータ破損が修正されました。
  • 非ベースライン ノードでのスナップショットの作成に関する問題を修正しました。
  • キャッシュがデータを更新しているときのスナップショットの不整合を修正しました。
  • 複数のノードが同じパスを構成する場合のスナップショットのキャンセルの問題を修正しました。
  • 前処理フェーズが失敗した場合にスナップショットを復元できない問題を修正しました。
  • ignite-cdcクライアント ノードがクラッシュしたときに停止する問題を修正しました。
  • ignite-cdc.shデフォルト以外の作業ディレクトリで起動に失敗する問題を修正しました。
  • インデックスの再構築プロセス中に CdcMain のステータス送信が正しくない問題を修正しました。
  • ignite-cdc.sh停止時に停止する問題を修正しましたCdcConsumer
  • オンライン クライアント セッションの数に関連するインジケーターが正しくない問題を修正しました。
  • PagesFillFactorキャッシュ グループのストレージ サイズに関連するインジケーター ( 、TotalUsedPagesTotalAllocatedPages)の計算が正しくない問題を修正しました。
  • currentTimeMillis縮小時のヒストグラム更新アサーションの誤った処理を修正しました。
  • リクエスト失敗時のRESTステータスコードが正しくない問題を修正しました。
  • REST API の GET 操作を実行すると、サードパーティ ストレージがスキップされることがある問題を修正しました。
  • 計算タスクでのパラメーターの受け渡しの問題を修正しました。
  • ペア接続が構成されている場合、通信 SPI アサーションが正しく処理されない可能性がある問題を修正しました。
  • 水平リバランス シナリオでの潜在的なデータ損失を修正しました。
  • ディスク ページ圧縮が有効な場合の CRC 計算アサーションの誤った処理を修正しました。
  • cpMapSnapshot.binファイルが破損したときにノードが起動しない問題を修正しました。
  • クラスターをフリーズした後にチェックポイントを実行すると、ストレージが破損する問題を修正しました。
  • クラスターをフリーズした後、エントリの期限切れ処理によってストレージが破損する問題を修正しました。
  • キャッシュ停止時のリバランス操作でノード障害が発生する問題を修正しました。
  • キャッシュの破棄とトランザクションのロールバックを同時に行った場合の null ポインター例外が修正されました。
  • ClusterGroup.forNodeIdIDチェックが正しくない問題を修正。
  • シンクライアントの再接続後、アソシエーション関係が正しく処理されない問題を修正しました。
  • コロケーションされていないノードでニア キャッシュの作成が正しく処理されない問題を修正しました。
  • 不十分な圧縮バッファ サイズによるメモリ破損の可能性が修正されました。
  • スナップショットの検証中にインデックスとメタ ストレージ パーティションの検証がスキップされる問題を修正しました。
  • IndexQuery; で最初の IN 句の後の条件が無視される問題を修正しました。
  • 合計モードでインジケーターが正しく計算されない問題を修正しましたLOG_ONLYBACKGROUNDWalWritingRate
  • log4j2 の依存関係を 2.20.0 に更新します。
  • Jetty の依存関係を 9.4.49.v20220914 に更新します。
  • Jackson Databind の依存関係を 2.14.0 に更新します。
  • postgresql の依存関係を 42.5.0 に更新します。
  • Netty の依存関係を 4.1.89.Final に更新します。
  • Ant の依存関係を 1.10.13 に更新します。
  • Apache Calcite の依存関係を 1.32.0 に更新します。

制御スクリプト:

  • キャッシュ クリーニング コマンドを追加しました。
  • キャッシュ スキャン コマンドを追加しました。
  • 一貫性修復コマンドのマルチパーティション サポートが追加されました。
  • idle-verifyこのコマンドは、破損したパーティションのリストの出力をサポートしています。
  • idle-verifyこのコマンドは、ログ ファイルへの結果の保存をサポートしています。
  • idle-verifyコマンドは、データ エントリのチェックを改善しました。
  • ヒストグラムとヒット率インジケーターを構成するコマンドを追加しました。
  • CDC データを強制的に再送信するコマンドを追加しました。
  • 最後に壊れた CDC セグメント リンクを削除するコマンドを追加しました。
  • スナップショット操作を開始およびキャンセルするための統一された構文が追加されました。
  • 複数のノードからビュー データを取得する機能が追加されました。
  • ロギング メカニズムを に移行しますIgniteLogger

Java シン クライアント:

  • サーバー検出機能を追加。
  • ClientConfiguration.clusterDiscoveryEnabled構成パラメーターを追加しました。
  • イベント監視機能を追加。
  • 接続の負荷を分散する機能が追加されました (デフォルト値を使用する代わりに、要求されたときに接続をランダムに開きます)。
  • 構成可能なログを追加しました。
  • シャットダウン時にハングするリクエストの競合の問題を修正しました。

.NETに火をつける:

  • サービスのデフォルト インターフェイス メソッドのサポートが追加されました。
  • ネイティブ AOT サポートが追加されました。
  • IgniteClientConfiguration.EnableClusterDiscoveryサーバー側の検出を有効および無効にするための構成プロパティが追加されました。
  • 異なるモードでネストされたバイナリ化可能な構造のマーシャリングを修正しました。
  • Java 15+ 環境の起動時の問題を修正しました。
  • ニア キャッシュを持つクライアント ノードでのプラットフォーム キャッシュの無効化を修正しました。
  • バイナリ パッケージから欠落している DLL を修正しました。

C++に火をつける:

  • C++ シン クライアントが Java 側を使用してリモート フィルタを継続的にクエリできる機能を追加しました。
  • シン クライアント接続が閉じられたときの SIGSEGV の問題を修正しました。

ODBC:

  • 一重引用符の処理に関する問題を修正しました。

SQL:

  • コメント行の冗長なクエリ結果の問題を修正しました。
  • インデックス スキャンの不正な型変換を修正しました (たとえば、インデックス フィールドが文字列データ型で、検索行が数値データ型の場合)。
  • SQL 統計の更新時にスレッドでデッドロックの可能性が見つかった問題を修正しました。

Calcite ベースの SQL エンジン:

  • グローバル ヒープ メモリ クォータとクエリ レベルのヒープ メモリ クォータを構成する機能が追加されました。
  • データ ページに追加のリクエストを行うことなく、インデックスのインライン キーをスキャンする機能が追加されました。
  • 操作のネイティブ サポートが追加されましたSEARCH/SARG(これにより、IN を含むいくつかの条件のインデックス スキャンが可能になります)。
  • LocalDate/LocalTimeデータ型のサポートが追加されました。
  • ブール型フィールドのインデックス スキャン機能を追加しました。
  • EVERY/SOME集計関数が追加されました。
  • Calcite パーサー例外の詳細な出力を追加しました。
  • 新しい分布タイプを追加しました (部分的に関連付けられたコロケーションの最適化)。
  • 追加されたCOUNT(column)最適化 (列とインデックス);
  • 同じフィールドのマージ インデックス条件の最適化が追加されました。
  • min()/max() 集計関数の最適化を追加 (開始/最後のインデックス値を使用);
  • 無関係なフィルター部分をテーブル スキャンにプッシュするための最適化が追加されました。
  • ODBC/JDBCに必要なメタデータクエリ機能を実現。
  • null 値の最適化されたインデックス スキャン。
  • 期限切れのエントリを除外するスキャンの問題を修正しました。
  • オフセット制限に関する行カウントの問題を修正しました。
  • 数値型をブール型に変換する際の CAST エラーの問題を修正しました。
  • 存在しないテーブルで DML を実行するときの null ポインターの問題を修正しました。

おすすめ

転載: www.oschina.net/news/239363/ignite-2-15-0