カフカメッセージングミドルウェア

 

 

 

トピック3つのパーティション以上の構成図。パーティション1 2オフセット:0と1を。パーティション2オフセット4があります。Partition3はオフセットしています。マシンIDのIDとまったく同じ場所のコピーのコピー。

話題のコピー数が3であれば、カフカは、クラスタ内の各パーティションのために3つの同一のコピーを作成します。各クラスタまたはパーティションの複数のメモリブローカー。同時に、生産と消費のデータで複数の生産者と消費者。

A. ブローカー

カフカのクラスタは、サーバーノードのブローカーと呼ばれる1つ以上のサーバーを、含まれています。

トピックデータブローカーに保存されています。Nは、トピックのパーティションがある場合は、N個のクラスタがブローカーを持って、各ブローカは、トピックのパーティションに保存されています。

トピックは、N個のパーティションがある場合、トピックのパーティションを仲介Nを格納するクラスタ(N + M)番目のブローカーがある、残りのパーティションはMブローカーはトピックのデータを格納しません。

Nパーティションのトピックがある場合、以下Nよりブローカクラスタ番号、トピックまたはパーティションを複数記憶ブローカー。実際の生産環境では、起きてからこれを回避しようと、このような状況は、カフカのクラスタデータにバランスされていないリードする可能性があります。

II。トピック

カフカのメッセージに発行された各クラスタは、カテゴリがトピックと呼ばれ、カテゴリがあります。(データに格納されている場所を気にすることなく生産又は消費データにトピックを指定するために1つまたは複数のメッセージ・ブローカのが、ユーザーに格納されているがメッセージのトピック異なる物理的に別個のストレージは、メッセージは、論理的トピックです)

データベーステーブルの名前と同様に

III。パーティション

トピックデータは、1つの以上のパーティションに分割されています。各トピックには、少なくとも一つのパーティションを持っています。各パーティション内のデータは、セグメント複数のファイルを使用して格納されています。データパーティションは、別のパーティション行方不明配列データとの間でデータを命じています。複数のトピックのパーティションがある場合は、とき消費データは、データの順序を保証することはできません。シーン内の消費のメッセージは、パーティションの数が1に設定される必要があることを保証するために厳密な順序を必要とします。

IV。プロデューサー

生産者は、発行者データ、カフカの話題にニュースリリースの役割、すなわち。ブローカーはプロデューサによって送信されたメッセージを受信した後、メッセージ・ブローカが追加された付加データのファイルの現在のセグメントに。メッセージプロデューサが格納されたデータ・パーティションを指定することができ、パーティションに格納され、プロデューサによって送信されました。

V. 消費者

消費者は、ブローカーからデータを読み取ることができます。消費者は、複数のトピックからデータをある消費することができます。

六.Consumerグループ

それぞれが特定の消費者の消費者グループ(デフォルトのグループに指定されたグループ名がある場合に消費者は、各グループ名に指定することができる)に属しています。

VII。リーダー

唯一のリーダーとしての存在である各パーティションには、複数のコピーを持って、リーダーのパーティションは、データを読み書きするために現在担当しています。

VIII。フォロワー

フォロワーがリーダーを次の、すべての書き込み要求がリーダーを介してルーティングされる、データの変更は、データの同期を維持するすべてのフォロワー、リーダーとフォロワーに放送されます。リーダーが失敗した場合は、フォロワーから新しいリーダーを選出。フォロワーとリーダーがハングアップすると、スタックまたはスローシンクロは、リーダーが「同期レプリカの」フォロワー(ISR)は、リストから削除されます、フォロワーを再作成します。

 

 

 

おすすめ

転載: www.cnblogs.com/WHWWHW/p/12341970.html