Java の古典的な面接の質問: Redis と Mysql がデータの一貫性をどのように確保するか

導入

データの一貫性は、コンピューター サイエンスと分散システムにおいて非常に重要な概念です。これは、データの複数のコピー間でデータの正確性と一貫性を維持し、データがコピー間で同じ値を持つこと、およびこれらのコピーがどの時点においても競合や不整合な状態を生じないことを保証することを指します。データの一貫性は、特に複数の地理的場所またはサーバーにまたがってデータが保存されている分散システムにおいて、アプリケーションが正しく機能し、ユーザー エクスペリエンスに重要です。

重要性

• データの正確性: どのようなアプリケーションにおいても、データの正確性を確保することは非常に重要です。複数のレプリカ間でデータに一貫性がない場合、アプリケーションがユーザーに誤った情報を提供し、予測できない動作や結果が生じる可能性があります。

• ユーザー エクスペリエンス: 一貫したデータにより、ユーザーはアプリケーションの異なる部分間をシームレスに切り替えることができ、統一されたユーザー エクスペリエンスが提供されます。たとえば、ショッピング サイトのショッピング カートは、異なるデバイスで同じコンテンツを表示する必要があります。

• 信頼性と堅牢性: データの一貫性により、システムの信頼性と堅牢性が向上します。ノードまたはサーバーに障害が発生した場合、システムは他のノードから迅速に回復し、データの一貫性を維持できます。

チャレンジ

• 遅延: 分散システムでは、異なるノード間のネットワーク遅延が一般的です。あるノードでデータが更新されると、遅延により他のノードが最新のデータを受信できず、データの不整合が発生する可能性があります。

• 同時書き込み: 複数のクライアントが同時にデータを書き込もうとすると、同時実行の競合が発生する可能性があります。分散システムでは、複数のレプリカが更新リクエストを同時に受信する可能性があり、これらの更新が互いに競合し、データの不整合が発生する可能性があります。

• 障害の処理: ノードの障害により、データの損失や更新の損失が発生し、データの不整合が生じる可能性があります。ノード障害後にデータの一貫性が確実に復元されるように、適切な障害処理メカニズムを導入する必要があります。

• 同期メカニズム: 分散システムでは、データの一貫性を維持するために、効果的な同期メカニズムが必要です。ただし、データの同期には時間がかかるため、同期メカニズムによりパフォーマンスが低下する可能性があります。

Redis と MySQL の概要

Redis データベースと MySQL データベース、アプリケーションにおけるそれぞれの用途。

Redis（リモート辞書サーバー）

Redis はオープンソースのメモリベースのデータベース システムで、データをキーと値のペアとして保存するため、キーと値のストアとして知られています。Redis のいくつかの機能を次に示します。

• インメモリ データ ストレージ: Redis はデータをメモリに保存するため、読み取り速度が非常に速く、高パフォーマンスのアプリケーションに適しています。

• キーと値のペアのストレージ: データはキーと値のペアの形式で保存され、文字列、ハッシュ テーブル、リスト、セット、順序付きセットなどのさまざまなデータ構造を使用できます。

• 高いパフォーマンス: データはメモリに保存されるため、Redis は読み取りおよび書き込み操作で優れたパフォーマンスを発揮し、特にキャッシュ レイヤーとして適しています。

• データの永続性: Redis は、データ損失を防ぐためにデータをディスクに永続化することをサポートしています。

• パブリッシュ/サブスクライブ モデル: Redis はパブリッシュおよびサブスクライブ機能をサポートしているため、リアルタイムのメッセージやイベントを処理するのに適しています。

適用可能なシナリオ: Redis は、キャッシュ、セッション ストレージ、リアルタイムの統計とカウント、リーダーボード、リアルタイム メッセージングなど、高パフォーマンス、低遅延、リアルタイム データ処理を必要とするシナリオに適しています。

MySQL

MySQL は、データ操作に構造化照会言語 (SQL) を使用するリレーショナル データベース管理システム (RDBMS) です。MySQL のいくつかの機能を次に示します。

• リレーショナル データベース: MySQL はデータをテーブルの形式で保存し、複雑なリレーショナル データ モデルをサポートします。

• ACID トランザクションのサポート: MySQL は、データの一貫性と整合性を確保するために ACID (アトミック性、一貫性、分離性、耐久性) トランザクションをサポートしています。

• データの永続性: MySQL はデータを永続的にディスクに保存し、停電や障害が発生した場合でもデータが失われないようにします。

• 複雑なクエリ: MySQL は、複雑なデータ クエリやレポート生成に適した強力な SQL クエリ言語をサポートしています。

• 複数のストレージ エンジンのサポート: MySQL は、InnoDB、MyISAM などの複数のストレージ エンジンをサポートしており、ニーズに応じてさまざまなエンジンを選択できます。

適用可能なシナリオ: MySQL は、電子商取引 Web サイト、管理システム、データ分析とレポートなど、厳密なデータ一貫性と複雑なクエリを必要とするアプリケーションに適しています。

Redis は、キャッシュ、リアルタイムのカウント、メッセージングなど、高性能でリアルタイムのデータ処理を必要とするシナリオに適しています。一方、MySQL は、電子商取引やデータなど、厳密なデータの一貫性と複雑なクエリを必要とするアプリケーションに適しています。管理システム。実際のアプリケーションでは、適切なデータベース システムを選択するか、特定のニーズやシナリオに応じてそれらを組み合わせて使用​​することで、最高のパフォーマンスとデータの一貫性を実現できます。

データの整合性の概要

• データの精度を検証する: 分散システムでは、複数のノードが同時にデータの読み取りと書き込みを行うことができます。データがノード間で一貫していない場合、ノード間でデータの競合が発生し、不正確な結果やデータの破損が発生する可能性があります。

• ダーティ データを回避する: ノードがデータを変更しても、ネットワーク遅延やその他の問題により、これらの変更が他のノードにレプリケートされていない場合、他のノードが古い一貫性のないデータを読み取って、ダーティ データが発生する可能性があります。

• 高可用性と耐障害性: 1 つのノードに障害が発生した場合、他のノードがサービスを引き継いで動作を継続する必要があります。データに一貫性がない場合、新しいノードは他のノードからのリクエストを適切に処理できない可能性があります。

• トランザクションの正しい実行の保証: 分散システムでは、複数の操作で構成されるトランザクションを実行する必要がある場合があります。データの一貫性により、これらの操作がすべて正常に実行されるかすべて失敗することが保証され、部分的な操作の成功によって引き起こされるデータ ロジック エラーが回避されます。

• データのバックアップ: 分散システムでは、データのバックアップは非常に一般的な要件です。バックアップ ノード上のデータに一貫性がない場合、バックアップの整合性と有効性が損なわれます。

Redis データ整合性メカニズム

• トランザクション: Redis はトランザクションをサポートしており、複数のコマンドを 1 つのアトミック操作でパッケージ化して実行できます。トランザクションでは、すべてのコマンドは成功するか失敗するかのいずれかであり、Redis はトランザクションの実行中に他のクライアントからのコマンドを挿入しません。トランザクションの実行プロセスはアトミックです。つまり、実行プロセス中に中断されないため、データの一貫性が保証されます。
  トランザクションの実行は、トランザクションの開始、コマンドのキューへの登録、トランザクションの実行の 3 つの段階に分かれています。トランザクションの実行中にエラーが発生した場合、Redis はデータの一貫性を確保するためにトランザクション全体をロールバックします。Redis では、MULTI コマンドを使用してトランザクションを開始し、次に EXEC コマンドを使用してトランザクションを実行するか、DISCARD コマンドを使用してトランザクションをキャンセルします。

• 永続性: 再起動または障害時にデータが失われないようにするために、Redis は RDB (Redis Database Dump) と AOF (Append-only File) という 2 つの永続化メソッドを提供します。
  RDB 永続性: メモリ内のデータ スナップショットをディスク上の RDB ファイルに定期的に保存します。永続化プロセスは、定期的な保存を構成するか、SAVE または BGSAVE コマンドを手動で実行することによってトリガーできます。RDB の永続化により、データのバックアップおよびリカバリ時のデータの一貫性が保証されます。

• AOF 永続化: AOF ファイルに書き込みコマンドを追加し、データの変更操作を記録します。Redis が再起動したら、AOF ファイル内のコマンドを再実行してデータを復元します。AOF 永続化により、障害回復時のデータの一貫性が保証されます。

• レプリケーション: Redis はマスター/スレーブ レプリケーション メカニズムをサポートしています。これは、1 つの Redis インスタンス (マスター ノード) のデータを他の Redis インスタンス (スレーブ ノード) にレプリケートすることでデータのバックアップと高可用性を実現します。
  レプリケーション プロセス中、マスター ノードは接続されているすべてのスレーブ ノードに書き込みコマンドを送信し、スレーブ ノードはデータの一貫性を維持するために同じ書き込みコマンドを実行します。マスター ノードに障害が発生した場合、スレーブ ノードは新しいマスター ノードを選択してサービスを提供し続けることができます。レプリケーションにより、マスター ノードに障害が発生した場合でもデータは引き続き利用できるため、データの一貫性と高可用性が確保されます。

Redis は、トランザクション、永続性、レプリケーションなどのメカニズムを通じてデータの一貫性を保証します。トランザクションは複数のコマンドのアトミックな実行を保証し、永続性は再起動や障害の際にデータが失われないことを保証し、レプリケーションはデータのバックアップと高可用性を保証します。これらのメカニズムが連携して、Redis を高パフォーマンス、高可用性、強力なデータ一貫性を備えたデータ ストレージ ソリューションにします。

MySQL データ整合性メカニズム

• トランザクションのサポート: MySQL はトランザクションをサポートしています。つまり、一連の操作を単一の作業単位として見ることができます。トランザクションにより、これらの操作が正常に実行またはロールバックされることを保証できるため、データの一貫性が維持されます。

• ACID プロパティ: MySQL は、ACID プロパティ、つまり原子性 (Atomicity)、一貫性 (Consistency)、分離 (Isolation)、永続性 (Durability) に従います。これらのプロパティにより、データベースはさまざまな状況下でデータの一貫性と信頼性を維持できます。

• レプリケーション: MySQL は、あるデータベース サーバーから他のサーバーにデータをコピーできるようにするレプリケーション機能を提供します。このレプリケーションを使用して、データのバックアップと障害回復を実装できます。マスター データベースと 1 つ以上のスレーブ データベースの間でレプリケーションを確立し、異なるノード上のデータの一貫性を確保できます。

MySQL は、トランザクションをサポートし、ACID プロパティに従い、分散環境でのデータの正確性と信頼性を確保するレプリケーション機能を提供することでデータの一貫性を維持します。

Redis と MySQL の間のデータ整合性の課題

Redis と MySQL を使用する場合、この 2 つは特性と目的が異なるため、データの整合性の問題が発生する可能性があります。Redis はキャッシュと高速な読み取りおよび書き込み操作を行うインメモリ データベースであり、MySQL は永続的なデータと複雑なクエリをサポートする従来のリレーショナル データベースです。ここでは、発生する可能性のある一貫性の問題とその解決方法をいくつか示します。

競合状態: 同時環境では、複数のクライアントが同時にデータの読み取りと書き込みを行うため、競合状態が発生する可能性があります。たとえば、あるクライアントがデータを読み取りながら、別のクライアントが同じデータを変更すると、データの不整合が発生する可能性があります。

解決：

1. トランザクションの使用: MySQL では、トランザクションを使用すると、一連の操作をアトミック単位として扱うことができ、すべてが正常に送信されるか、すべてがロールバックされます。これにより、トランザクション内のデータ操作が確実にシリアル化され、競合状態が回避されます。
   Redis トランザクションを使用する: Redis はトランザクション操作をサポートしており、複数のコマンドを 1 つのトランザクションに入れて一緒に実行することができ、これらのコマンドのアトミック性を確保できます。
   データの有効期限と不整合: Redis ではキーの有効期限を設定できますが、MySQL には有効期限の概念が組み込まれていません。Redis でキーの有効期限が切れ、MySQL の対応するデータが更新されない場合、データの不整合が発生する可能性があります。

2. 有効期限を適切に設定する: データが一定期間内に更新されるように、Redis で適切な有効期限を設定します。
   定期的な同期メカニズムを使用する: Redis のデータを MySQL に定期的に同期して、データの一貫性を確保できます。
   データ損失: Redis はインメモリ データベースであるため、サーバーに障害が発生したり再起動したりすると、メモリ内のデータが失われる可能性があります。ただし、ディスク データベースとしての MySQL には通常、永続性があります。

3. 永続性を使用する: Redis は、RDB スナップショットと AOF ログという 2 つの永続化メソッドを提供します。データの損失を防ぐために、データを定期的にディスクに保存することを選択できます。
   MySQL をメイン データベースとして使用する: データの永続性が重要な場合は、メイン データベースとして MySQL に、キャッシュ レイヤーとして Redis にデータを保存できます。これにより、Redis 内のデータが失われた場合でも、MySQL から復元できます。
   データ同期の遅延: Redis と MySQL を読み取り/書き込み分離またはマスター/スレーブ レプリケーションに使用する場合、ネットワーク遅延などの理由により、データの同期が遅延し、データの不整合が発生する可能性があります。

4. 非同期レプリケーションを同期レプリケーションに変更する: 強力なデータ一貫性が非常に重要な場合は、データ同期の即時性を確保するために、MySQL のマスター/スレーブ レプリケーションを同期レプリケーションに変更することを検討できます。

5. 二重書き込みモード: 書き込み操作を実行するときは、データの一貫性を確保するために Redis と MySQL に同時に書き込みます。ただし、これは書き込みパフォーマンスに影響を与える可能性があります。

Redis と MySQL の間でデータの一貫性を確保するには、ビジネス ニーズ、パフォーマンス要件、データの重要性を総合的に考慮する必要があります。トランザクションの使用、定期的な同期、有効期限の合理的な設定、および適切な永続化メソッドの選択はすべて、一貫性の問題を解決する方法です。

データの一貫性を確保するためのベスト プラクティス

たとえば、RocketMQ、RabbitMQ、またはその他のメッセージ キューに基づいた信頼性の高いメッセージ通信により、最終的な一貫性を実現します。

Canal コンポーネントを介して Mysql の binlog ログを直接監視し、更新されたデータを Redis に同期することもできます。

実用化事例

シナリオ 1: ユーザー アカウント残高の更新

ユーザーがチャージすることでアカウント残高を増やすことができる電子商取引 Web サイトがあるとします。Redis と MySQL を使用して、一貫したユーザー アカウント残高を維持できます。

1. ユーザーがリチャージ操作を実行すると、最初にリチャージリクエストが Redis に送信され、Redis の INCRBY コマンドを通じてユーザー アカウントの残高が対応する量だけ増加します。

2. 次に、ユーザー ID やリチャージ金額などの情報を含むリチャージ リクエストを MySQL のリチャージ レコード テーブルに書き込みます。

3. バックグラウンド タスクでは、Redis でリチャージ リクエストを監視することで、MySQL のユーザー アカウント テーブルに同期されます。RedisのSUBSCRIBEコマンドを使用してリチャージリクエストを監視し、リクエスト受信時にRedisから対応するユーザーIDとリチャージ金額を取り出し、MySQLのユーザーアカウントテーブルを更新することができます。

4. このようにして、ユーザーが口座残高を照会したり、その他の操作を実行したりしても、MySQL から最新の残高データを取得でき、データの一貫性が確保されます。

シナリオ 2: 記事ビューのリアルタイム統計

1. ニュース リリース Web サイトがあり、各記事の閲覧数をリアルタイムでカウントする必要があるとします。Redis と MySQL を使用して、記事ビューの一貫性を維持できます。

2/ ユーザーが記事にアクセスすると、まず記事 ID を Redis に保存し、Redis の INCR コマンドを通じて該当記事の閲覧ボリュームを 1 増やします。

3. 次に、定期的 (たとえば、1 分ごと) Redis のページビュー データを MySQL の記事テーブルに書き込みます。Redis の ZREVRANGE コマンドを使用して、上位の記事 ID とビューを取得し、それらを MySQL に書き込むことができます。

4. このように、ユーザーの訪問数が多い場合、Redis を通じて訪問数をすぐに増やすことができ、定期的に MySQL に同期してデータの整合性を確保します。同時に、ユーザーは記事のページビューをクエリするときに MySQL から最新のデータを取得することもできます。

要約する

Redis がデータの一貫性を保証する方法

• 書き込み時に同期: Redis は、デフォルトではデータをメモリに書き込み、ディスクには非同期で書き込みます。電源障害または再起動後にデータの永続性を確保するために永続性オプションを構成することにより、データをディスクに同期的に書き込むことができます。この方法は、リアルタイム データ要件が低いシナリオに適しています。
• マスター/スレーブ レプリケーション: Redis はマスター/スレーブ レプリケーション メカニズムをサポートしており、マスター ノードがデータをバックアップ スレーブ ノードに同期します。レプリケーション戦略と監視メカニズムを通じて、マスター ノードとスレーブ ノード間のデータの一貫性が保証されます。この方法は、読み取りと書き込みが分離されているシナリオに適しており、読み取りパフォーマンスを向上させることができます。
• センチネル モード: Redis のセンチネル モードは、マスター/スレーブ ノードの健全性状態を監視し、マスター ノードに障害が発生した場合に自動マスター/スレーブ切り替えを実行するために使用されます。このアプローチにより、フェイルオーバー中のデータの一貫性が保証されます。

MySQL がデータの一貫性を保証する方法

• ACID トランザクション: MySQL は、ACID トランザクション、つまりアトミック性、一貫性、分離性、耐久性をサポートします。MySQL は、トランザクションの開始、コミット、ロールバック操作を通じて、データ操作の原子性を保証し、さまざまな分離レベルを提供して、同時操作間の可視性と一貫性を制御します。
• ロック メカニズム: MySQL はロックを使用して、同時アクセスとデータ変更操作を管理します。読み取り/書き込みロックとトランザクション ロックを通じて、複数のトランザクション間の分離とデータの整合性が実現されます。データの読み取りおよび変更を行う場合は、行ロック、テーブル ロック、ページ ロックなどの適切なロック タイプを使用して、データの一貫性を確保します。
• マスター/スレーブ レプリケーション: MySQL はマスター/スレーブ レプリケーションをサポートしており、マスター ノードからバックアップ スレーブ ノードにデータを同期します。適切なレプリケーション戦略と監視メカニズムを構成することにより、マスター ノードとスレーブ ノード間のデータの一貫性が確保されます。

アプリケーションの要件に応じて適切なソリューションを選択することが非常に重要です。アプリケーションのリアルタイム パフォーマンスに対する高い要件がある場合は、Redis を選択し、データの適時性と可用性を確保するために同期戦略とセンチネル モードを構成できます。アプリケーションのデータの一貫性と整合性に対する要件が高い場合は、MySQL を選択できます。 ACID トランザクションと適切なロック メカニズムを使用して、データの一貫性を確保します。同時に、特定のシナリオにおける読み取り/書き込みアクセス率と負荷条件に応じて、マスター/スレーブ レプリケーションと読み取り/書き込み分離を組み合わせることで、パフォーマンスを向上させることができます。結論として、アプリケーションの要件に応じて適切なソリューションを選択することが、データの一貫性を確保する鍵となります。