カフカ断片記憶機構
カフカいくつかの重要な概念:
- ブローカー:メッセージミドルウェア処理ノード、カフカは、ブローカよいカフカクラスタの複数の構成ブローカーノード、です。
- トピック:メッセージのタイプ、例えばは、ページ・ビュー・ログは、そのクリックしてログは、トピック、トピックの複数の配布のため、同時に責任カフカクラスターとして存在することができます。
- パーティション:物理的なトピックをグループ化は、トピックをパーティションに分割することができ、各パーティションは、順序付けられたキューです。
- セグメント:物理パーティションの複数の構成セグメントは、以下を参照されたいです。
- オフセット:各パーティションには注文したシリーズ、不変の組成のメッセージで構成され、これらのメッセージは、継続的にパーティションに追加されます。各パーティションは、メッセージシーケンス番号を一意のパーティションを識別するメッセージを、連続的にオフセットと呼ばれています。
以下に概略のイメージ示すファイルストレージ内のパーティション。
- 各巨大ファイルに対応するpartion(ディレクトリ)は、平均セグメント(セグメント)のデータ・ファイル・サイズの複数と等しくなるように割り当てられます。しかし、各セグメントのセグメントファイルはすぐに削除され、この特性古いセグメントファイルを容易にするために、メッセージの数と必ずしも同じではありません。(デフォルトでは、各ファイルのサイズが1Gです)
- 各 partitonはシーケンシャルリードをサポートし、サーバー・パラメータの決定からライン、セグメントのライフサイクルの設定ファイルに記述する必要があります。
長所:この方法の利点は、我々はすぐに効果的にディスク使用率を向上させ、不要なファイルを削除することができるということです。