OS 18: ディスク I/O 速度、ディスクの信頼性、データの一貫性

訪問頻度。通常、連想メモリのアクセス頻度は、基本的には命令の実行頻度と等価である。ディスクキャッシュへのアクセスの頻度は、ディスク I/O の頻度に匹敵します。したがって、連想メモリへのアクセス頻度は、ディスクキャッシュへのアクセス頻度よりもはるかに高くなります。
予測可能性。どのデータが長期間再びアクセスされない可能性があり、どのデータがすぐに再びアクセスされる可能性があり、そのかなりの部分は予測可能です。
データの一貫性。キャッシュに保存されているデータが変更されているがディスクにコピーされていない場合、システムに障害が発生したときにデータの不整合が発生する可能性があります。

1.3 - 定期的にディスクに書き戻す

LRU アルゴリズムによれば、頻繁にアクセスされるディスクブロックデータの一部がキャッシュに残り、長期間ディスクに書き戻されないことがあります。チェーン内の要素にアクセスすると、その要素はディスクに書き戻されずにチェーンの最後でハングするため、常にアクセスされていない要素のみがチェーンの先頭に移動され、書き戻されます。ディスクに。// 置き換える場合は、チェーンの先頭からディスクに書き戻します

この問題を解決するために、ＵＮＩＸシステムでは特別に修正（アップデート）プログラムを追加してバックグラウンドで動作させ、そのプログラムが定期的にシステムコールＳＹＮＣを呼び出すようにしている。その主な機能は、キャッシュ内の変更されたすべてのディスクブロックデータを強制的にディスクに書き戻すことです。通常、SYNC を 2 回呼び出す間隔は 30 秒に設定されます。これにより、システム障害による作業損失は 30 秒の作業量を超えることはありません。//定期的にライトバックしますが、データが失われないことは保証できません

(2) ディスク I/O 速度を向上させるその他の方法

2.1 - 先を読む

ファイルがシーケンシャルアクセス方式でアクセスされる場合、次に読み込まれるディスクブロックを予測できます。このとき、先読み方式を採用できます。つまり、現在のブロックを読み取っている間に、次のディスクブロック（先読みしたブロック）のデータもバッファに読み込む必要があるため、時間を大幅に短縮できます。データの読み取り用。

2.2 - 遅延書き込み

遅延書き込みとは、空きバッファキューの最後にバッファデータをハングするのではなく、すぐにディスクに書き戻す必要があるバッファデータを変更し、バッファが空きバッファとして割り当てられるまで書き戻さないことを指します。

バッファデータがメモリ内に存在する利点は、データにアクセスするプロセスがディスクにアクセスせずにデータを直接読み取ることができること。このようにして、ディスクの IO 時間をさらに短縮できます。

2.3 - 物理ブロックの分散の最適化

アイデア: 2 つのデータブロックを同じトラックに属する 2 つのディスクブロックに配置し、トラック間の磁気ヘッドの移動を排除することで、これら 2 つのディスクブロックへのアクセス速度を大幅に向上させます。//シーケンシャルに書き込み、磁気ヘッドの平均移動距離を短縮します。

2.4 - 仮想ディスク

いわゆる仮想ディスクは、 RAM ディスクとも呼ばれるディスクをエミュレートするためにメモリ空間を使用します。

仮想ディスクの主な問題は、仮想ディスクは揮発性メモリであるため、システムまたは電源に障害が発生するか、システムが再起動されると、仮想ディスクに元々保存されていたデータが失われることです。したがって、仮想ディスクは通常、プログラムのコンパイルによって生成されたターゲットプログラムなどの一時ファイルを保存するために使用されます。

仮想ディスクとディスクキャッシュの主な違いは、仮想ディスクの内容は完全にユーザーの制御下にあるのに対し、ディスクキャッシュの内容は OS によって制御されることです。たとえば、RAM ディスクは最初は空であり、ユーザー (プログラム) が RAM ディスクにファイルを作成した後でのみ、RAM ディスクに内容が含まれます。// 理解してください

(3) 安価なディスクエレメンタリアレイ(RAID)

考察: 1 つのコンポーネントを使用した場合のパフォーマンスの向上が非常に限られている場合は、同じコンポーネントを複数使用することで大幅なパフォーマンスの向上を得ることができます。//ユニプロセッサシステム→マルチプロセッサシステム、分散システムなど

Redundant Array of Inexpensive Disk (RAID) は、複数の小型ディスクで構成される大容量のディスクストレージです。

RAID はディスクの容量を大幅に増加させるだけでなく、ディスクの I/O 速度とディスクシステム全体の信頼性も大幅に向上します。

パラレルインターリーブ:複数のディスクドライブを備えたシステムでは、システムは各ディスクブロックのデータを複数のサブディスクブロックデータに分割し、各サブディスクブロックのデータを異なるディスクの同じ位置に保存します。将来的には、ディスクブロックのデータをメモリに転送する際に、各ディスクブロック内のサブディスクブロックのデータを同時にメモリに転送する並列転送方式を採用し、大幅なコスト削減を実現します。送信時間。//複数のディスクが並行して転送します

2. ディスクの信頼性を向上させる技術

フォールトトレラント技術とは、システム内に冗長構成要素を設けることでシステムの信頼性を向上させる技術です。ディスクフォールトトレラント技術とは、ディスクドライブやディスクコントローラを冗長化してディスクシステムの信頼性を向上させる技術です。つまり、ディスクシステムの特定の部分に欠陥や障害が発生しても、ディスクはデータの損失やエラーを引き起こすことなく正常に動作し続けます。// コンポーネントの冗長性

ディスクフォールトトレラントテクノロジは、システムフォールトトレラントテクノロジ SFT とも呼ばれることがあります。これは 3 つのレベルに分けることができます: 第 1 レベルは低レベルのディスクフォールトトレラントテクノロジ、第 2 レベルは中レベルのディスクフォールトトレラントテクノロジ、第 3 レベルはシステムフォールトトレラントテクノロジで、以下に基づいてフォールトトレラントを実装します。クラスターテクノロジー。

(1) 第1レベルのフォールトトレラント技術SFT-I

第 1 レベルのフォールトトレラントテクノロジ (SFT-I) は、主にディスク表面の欠陥によるデータ損失を防ぐために使用され、二重ディレクトリ、二重ファイルアロケーションテーブル、リードアフターライト検証などの対策が含まれます。

1.1 - 2 つの目次と 2 つのファイル割り当てテーブル

ディスク上に保存されるファイルディレクトリとファイルアロケーションテーブル FAT は、ファイル管理に使用される重要なデータ構造です。これらのテーブルが破壊されるのを防ぐために、（二重）ディレクトリテーブルと FAT を別のディスクまたはディスクの別の領域に個別に確立できます。そのうちの 1 つはメインディレクトリとメイン FAT であり、もう 1 つはバックアップディレクトリとバックアップ FAT です。//ファイルのバックアップ

ディスクの表面欠陥によりメインファイルディレクトリまたはメイン FAT が損傷すると、システムは自動的にバックアップファイルディレクトリとバックアップ FAT を有効にして、ディスク上のデータに引き続きアクセスできるようにします。

1.2 - ホットフィックスのリダイレクトとリードアフターライトチェックサム

ディスクは高価なため、ディスク表面に少量の欠陥がある場合は、何らかの修復措置を講じて引き続き使用できる場合があります。一般に、主に次の 2 つの改善策が取られます。

ホットリペアリダイレクト。システムはディスク容量のごく一部 (たとえば 2% ～ 3%) をホットリペアリダイレクト領域として使用します。この領域は、ディスクに欠陥があることが判明した場合に書き込まれるデータを保存するために使用されます。この領域に書き込まれるすべてのデータデータは、後でアクセスできるように登録されます。//欠陥データを運ぶための専用領域を割り当てます
リードアフターライト検証方式では、ディスクに書き込まれたすべてのデータが完全なディスクブロックに書き込まれることを確認するために、データブロックがディスクに書き込まれるたびに、データブロックをすぐに読み取って、Install に送信する必要があります。別のバッファに書き込み、バッファの内容と書き込み後にメモリバッファに残ったデータを比較し、両者が一致していれば書き込み成功とみなします。それ以外の場合は書き直します。書き換え後も両者が一致しない場合は、ディスクブロックに欠陥があると考えられ、このとき、ディスクブロックに書き込まれるべきデータがホットリペアリダイレクト領域に書き込まれる。// 書き込んだ後、比較検証のために読み出す

(2) 第2レベルのフォールトトレラント技術SFT-II

第 2 レベルのフォールトトレラントテクノロジは、主にディスクドライブやディスクコントローラの故障によるシステムの誤動作を防ぐために使用され、さらにディスクミラーリングとディスク二重化に分類できます。

2.1 - ディスクミラーリング

ディスクドライブの故障によるデータ損失を回避するために、ディスクミラーリング機能が追加されています。この機能を実現するには、同一のディスクコントローラ配下に同一のディスクドライブを追加する必要があります。// 冗長コンポーネント、ディスクドライブ

ディスクミラーリング方式を使用する場合、毎回プライマリディスクにデータを書き込んだ後、2 つのディスクのビットマップがまったく同じになるように、データをバックアップディスクに書き込む必要があります。バックアップディスクはプライマリディスクのミラーであると考えてください。メインディスクドライブに障害が発生した場合でも、バックアップディスクが存在するため、切り替え後もホストは正常に動作します。

ディスクミラーリングはフォールトトレランスを実現しますが、ディスク使用率が 50% に低下し、サーバーのディスク I/O 速度は向上しません。//よく考えてください

2.2 - ディスクの二重化

2 つのディスクドライブを制御するディスクコントローラに障害が発生した場合、またはホストコンピュータとディスクコントローラ間のパスに障害が発生した場合、ディスクミラーリングではデータは保護されません。そこで、第２レベルのフォールトトレラント技術では、ディスク二重化機能が追加され、２台のディスクドライブが２台のディスクコントローラにそれぞれ接続され、２台のディスクドライブがミラーリングされてペアとなる。

ディスク二重化では、ファイルサーバーは異なるコントローラの下にある 2 つのディスクに同時にデータを書き込むため、2 つのディスクはまったく同じビットマップを持ちます。チャネルまたはコントローラに障害が発生しても、他のチャネルのディスクはデータを失うことなく正常に動作し続けます。ディスクが二重化されている場合、各ディスクには独自の独立したチャネルがあるため、ディスクへのデータの書き込みまたはディスクからのデータの読み取りを同時に (並行して) 行うことができます。

(3) クラスタ技術によるフォールトトレラント機能

いわゆるクラスタとは、相互接続された自律型コンピュータのグループで構成される統合コンピュータシステムを指し、人々に自分が機械であるかのような感覚を与えます。クラスタシステムを利用すると、システムの並列処理能力が向上するだけでなく、システムの可用性も向上するため、フォールトトレラント機能を備えたクラスタシステムとして現在最も広く使われています。ホットバックアップモード、相互バックアップモード、および共通ディスクモードの3 つの主な動作モードがあります。

3.1 - デュアルマシンホットバックアップモード

このシステムモードでは、同じ処理能力を持つ 2 つのサーバーがあり、1 つはメインサーバーとして、もう 1 つはバックアップサーバーとして使用されます。通常はメインサーバーが稼働しており、バックアップサーバーが常にメインサーバーの動作を監視しており、メインサーバーに障害が発生すると、バックアップサーバーが直ちにメインサーバーの作業を引き継ぎ、システムのメインサーバーになります。修復されたサーバーはバックアップサーバーとして使用されます。//マスタースレーブサーバー

3.2 - 2 台のマシンは相互バックアップモードです

デュアルマシン相互バックアップモードでは、通常、2 台のサーバーは両方ともオンラインサーバーであり、それぞれが独自のタスクを実行します。たとえば、1 台はデータベースサーバーとして使用され、もう 1 台は電子メールサーバーとして使用されます。

相互バックアップモードでは、各サーバーに2 台のハードディスクを構成し、1 台はシステムプログラムとアプリケーションのロード用に、もう 1 台は別のサーバーから送信されたバックアップデータをサーバーのミラーディスクとして受信するように構成するのが最適です。通常の操作中、ミラーディスクはローカルユーザーに対してロックされるため、ミラーディスク内のデータの正確性を確認することが容易になります。ハードディスクが 1 台しかない場合は、仮想ディスクまたはパーティションを作成して、システムプログラムやアプリケーションを保存したり、別のサーバーからデータをバックアップしたりできます。

専用線リンクを通じて特定のサーバの障害が検出された場合、このときルータを利用して本当にサーバが障害しているかどうかを検証する。障害が確認された場合、正常なサーバーは障害が発生したサーバーのクライアントにブロードキャストメッセージを送信し、切り替えを行うことを示します。切り替えが成功すると、クライアントはネットワークが提供するサービスを引き続き使用し、再度ログインすることなくサーバー上のデータにアクセスできます。障害のないサーバーに接続しているクライアントの場合、ネットワークサービスの速度がわずかに低下するだけで、影響はありません。障害のあるサーバーが修復され、再びインターネットに接続されると、障害のないサーバーに移行されていたサービス機能が戻り、通常の動作が再開されます。// 障害交換と障害修復

このモデルの利点は、タスクの処理に両方のサーバーを使用できるため、システムの効率が向上することです。現在、このモデルは 2 台のマシンから 4、8、16 台、またはそれ以上に拡張されています。システム内のすべてのマシンはタスクの処理に使用でき、そのうちの 1 台に障害が発生した場合、システムは別のマシンを指定してその作業を引き継ぐことができます。//最新のクラスターの使用方法

3.3 - 共通ディスクモード

情報コピーのオーバーヘッドを軽減するために、複数のコンピュータを共通のディスクシステムに接続できます。共通ディスクは複数のボリュームに分割されています。コンピュータごとに 1 つのボリュームを使用します。コンピュータに障害が発生した場合、システムは、障害が発生したコンピュータのボリュームを所有し、障害が発生したコンピュータを引き継ぐことができるスケジュールポリシーに基づいて代替マシンを選択するように再構成されます。このモデルの利点は、情報のコピー時間が不要になり、ネットワークとサーバーのオーバーヘッドが削減されることです。

(4) バックアップ体制

バックアップシステムは、完全なシステムで構成する必要があります。一方で、ディスクシステムの容量が十分ではないため、運用中にシステムのすべてのデータをディスクにインストールすることは不可能であり、必要ではないがまだ有用なデータは保存のためにバックアップシステムに保存する必要があります。。一方で、システム障害やウイルス感染によるシステム内のデータの紛失・消失を防ぐために、より重要なデータをバックアップシステムに保存することも必要です。現在、バックアップシステムとして一般的に使用されている機器には、テープドライブ、ディスクドライブ、ハードディスク、CD ドライブなどがあります。//つまり、一部の永続デバイスはデータの物理的な保存とバックアップに使用されます。

3. データの整合性管理

実際のアプリケーションでは、同じデータが複数のファイルに含まれることがよくあります。いわゆるデータの一貫性の問題は、複数のファイルに保存されている同じデータが、いかなる状況でも同じであることが保証されなければならないことを意味します。たとえば、ある製品の購入価格が間違っていることが判明した場合、データの整合性を確保するために、仕訳帳、支払口座、元帳、総勘定元帳などの一連の文書内の製品の価格を同時に修正する必要があります。しかし、変更の途中で突然システムがダウンしてしまうと、各アカウントのデータに不整合が生じ、さらに複数のアカウントの不整合が発生してしまいます。データの整合性を確保するために、最新のOSにはデータの整合性を確保できるソフトウェアが構成されています。

(1) 事務

1.1 - トランザクションの定義

トランザクションがデータのバッチを変更する場合、トランザクションはすべてのデータを完了して元のデータを変更されたデータで置き換えるか、いずれのデータも変更しません。トランザクション操作のこの特徴は、トランザクションの原子性 (アトミック) です。

単一のプログラム単位として実行される一連の操作のすべてがトランザクションになるわけではありません。つまり、トランザクションとして定義される場合は、トランザクション属性 ACID という 4 つの属性を同時に満たす必要があります。前述のアトミック性に加えて、トランザクションには次の属性も必要です。

Consistent、つまり、トランザクションが完了したとき、すべてのデータが一貫した状態に保たれる必要があります。
Isolated、つまり、トランザクションによるデータの変更は、他の同時トランザクションから分離する必要があります。言い換えれば、トランザクションがデータを表示するときのデータの状態、または別の同時トランザクションがデータを変更する前の状態、または別のトランザクションによって変更された後の状態であり、中間状態データではありません
永続性 (永続性)、つまり、トランザクションの完了後、システムへの影響は永続的です。

1.2 - 取引記録

トランザクションのアトミックな変更を実現するには、通常、トランザクションレコードと呼ばれるデータ構造を使用して実装されます。これらのデータ構造は非常に信頼性の高いメモリに配置され、トランザクションの実行時にデータ項目の変更に関するすべての情報を記録するために使用されるため、実行レコード (ログ)とも呼ばれます。このレコードには次のフィールドが含まれます: //これは非常に一般的な指針となるイデオロギーであり、非常に重要です

トランザクション名:トランザクションを識別するために使用される一意の名前。
データ項目名:変更されたデータ項目の一意の名前です。
古い値:変更前のデータ項目の値。
新しい値:変更後のデータ項目の値。

トランザクションレコードテーブルの各レコードには、変更操作、トランザクションの開始、トランザクションのコミットまたはトランザクションの失敗など、トランザクション操作における重要なトランザクション操作が記述されています。// トランザクションを記録する

1.3 - 回復アルゴリズム

トランザクション記録テーブルには、トランザクション T によって変更されたデータとその変更前後の値の集合が存在するため、トランザクション記録テーブルを使用するシステムは、障害を非記憶領域に格納することなく、障害を処理することができます。揮発性メモリ、情報の損失。回復アルゴリズムは次の 2 つのプロセスを利用できます: //データベースの一般的な方法

元に戻す(T)。この処理により、トランザクション T によって変更されたすべてのデータが変更前の値に復元されます。
やり直し(T)。このプロシージャは、トランザクション T によって変更されたすべてのデータを新しい値に設定します。

システムに障害が発生した場合、システムは以前のトランザクションをクリーンアップする必要があります。トランザクション記録テーブルを参照すると、クリーンアップされていないトランザクションは 2 つのカテゴリに分類できます。//元に戻すログとやり直しログ

1 つのタイプは、トランザクションに含まれるあらゆる種類の操作が完了したトランザクションです。このタイプのトランザクションを判断する基準は、トランザクションレコードテーブルに T (開始) レコードと T (コミットメント) レコードの両方が含まれていることです。このとき、システムはやり直し (T) プロセスを使用して、変更されたすべてのデータセットを新しいデータセットに変換します。価値。

もう 1 つのタイプは、すべての操作が完了しないトランザクションです。トランザクション T の場合、ログテーブルに T (開始) レコードのみがあり、T (コミットメント) レコードがない場合、この T はこのタイプのトランザクションに属します。この時点で、システムは undo(T) プロセスを使用して、変更されたすべてのデータを変更前の値に戻します。

(2) チェックポイント

チェックポイントの役割

システム内では多数のトランザクションが同時に実行される可能性があるため、トランザクション記録テーブルには多数のトランザクション実行記録が存在します。時間が経つにつれて、より多くのデータが記録されます。したがって、システムが故障すると、取引記録テーブルの記録をクリーンアップするのに非常に時間がかかります。

チェックポイントを導入する主な目的は、トランザクションレコードテーブル内のトランザクションレコードのクリーニングを定期的に行うこと、つまり、次の作業を定期的に実行することです。

1 つ目は、揮発性メモリ (メモリ) に存在する現在のトランザクションレコードテーブル内のすべてのレコードを安定したメモリに出力することです。
2 つ目は、揮発性メモリに存在するすべての変更されたデータを安定したメモリに出力することです。
次に、トランザクション記録テーブルのチェックポイント記録を安定したストレージに出力します。
最後に、(チェックポイント) レコードが表示されるたびに、システムは回復操作を実行します。つまり、回復機能はやり直しおよび元に戻すプロセスを使用して実現されます。

トランザクション T がチェックポイントの前にコミット (コミット) した場合、チェックポイントレコードの前の T (コミット) レコードがトランザクションレコードテーブルに表示されます。この場合、T によって変更されたすべてのデータは、チェックポイントの前に安定したストレージに書き込まれるか、チェックポイントレコード自体の一部として安定したストレージに書き込まれます。したがって、将来システムに障害が発生した場合でも、やり直し操作を行う必要がありません。//コミットしたトランザクションのデータを事前に保存しておく

チェックポイントの導入後は、リカバリ処理のオーバーヘッドを大幅に削減できます。障害発生後は、トランザクションレコードテーブル内のすべてのトランザクションレコードを処理する必要はなく、最後のチェックポイント以降のトランザクションレコードのみを処理すればよいためです。

したがって、回復ルーチンは最初にトランザクションログテーブルを検索して、最新のチェックポイントより前に実行を開始した最後のトランザクション T を特定します。そのようなトランザクションを見つけた後、トランザクションレコードテーブルの検索に戻り、最初のチェックポイントレコードを見つけることができます。リカバリルーチンは戻ってチェックポイントから各トランザクションのレコードを検索し、REDO および UNDO プロセスを使用してトランザクションを処理します。と。// データをセグメント単位で処理します

(3) 同時実行制御

トランザクションのアトミックな性質のため、各トランザクションの実行は特定の順序で実行する必要があります。1 つのトランザクションが実行された後でのみ、別のトランザクションの実行が許可されます。つまり、各トランザクションによるデータ項目の変更は相互に排他的です。。人々はこの機能を逐次性と呼び、トランザクションの逐次性を実現するために使用されるテクノロジは同時実行制御と呼ばれます。//同じデータのトランザクションには相互排他が必要です

データベースで一般的に使用される同時実行制御手法:相互排他ロックと共有ロック。//つまり、読み取り/書き込みロック

(4) 重複データのデータ整合性問題

データのセキュリティを確保するために、最も一般的な方法は、キーファイルまたはデータ構造を複数のコピーにコピーし、それらを別の場所に保存することです。メインファイル (データ構造) に障害が発生した場合、バックアップファイル (データ構造) が存在します。データが失われる可能性がありますが、システムの動作には影響しません。明らかに、メインファイルのデータ (データ構造) は、各バックアップファイルの対応するデータと一致している必要があります。また、空きディスクブロックテーブルなど、システム運用中に常に変更されるデータ構造も存在するため、異なる場所にある同じデータ構造内のデータの整合性も保証する必要があります。// クラスター内で最も一般的な問題

//この問題については、分散システムには対応する解決策とアルゴリズムがありますが、ここでは詳しく説明しませんので、興味があれば、以降の記事を参照してください。