KafkaStreams研究ノート02

第2章Kafkaクイックガイド

カフカ関連用語

ブローカー-Kafkaクラスターには1つ以上のサーバーが含まれます。この種類のサーバーはブローカーと呼ばれます。
トピック -Kafkaクラスターに発行されるすべてのメッセージにはカテゴリがあり、このカテゴリはトピックと呼ばれます。(物理的には、異なるトピックメッセージは個別に保存されます。論理的に1つのトピックメッセージは1つ以上のブローカーに保存されますが、ユーザーはメッセージのトピックを指定するだけで、データの保存場所を気にすることなくデータを生成または消費できます)  
パーティションパーティショニングは物理的な概念です。各トピックには1つ以上のパーティションが含まれています。
プロデューサー — Kafkaブローカーへのメッセージのパブリッシュを担当します  。  
コンシューマー —メッセージコンシューマー、Kafkaブローカーからメッセージを読み取るクライアント。
コンシューマグループ-各コンシューマは特定のコンシューマグループに属します(グループ名を指定しない場合、デフォルトのグループに属し、各コンシューマのグループ名を指定できます)

Kafkaの動作モードは、プロデューサーがトピックにメッセージを追加することです。トピックはデータをログの形式で保存します。ログは、物理構造上の異なるパーティションとクラスター内の異なるブローカーに分割されます。消費者はトピックにサブスクライブし、トピックのログからメッセージを読み取ります。

Kafkaは、ZooKeeperを使用てクラスター管理します。ZooKeeperは、サーバーまたはクラスターのトポロジーを調整するために使用されます。ZooKeeperは、構成情報用の一貫したファイルシステムです。

Kafkaクラスターの動作モードの理解

kafkaクラスターは、プロキシー・サーバー、つまりブローカー、および動物園管理者管理コンポーネントで構成されています。
トピックが作成されると、そのメッセージはデータをログの形式で保存します。ログはさまざまなパーティションに分割され、各ブローカーに配布されます。ログは各ブローカーで同時にバックアップされ、バックアップメカニズムはフォールトトレランスを維持します。バックアップメカニズムが存在する場合、各パーティションには、異なるブローカーに複数のストレージコピーがあります。各パーティションは、リーダーブローカーと他のフォロワーブローカーを定義します。この割り当てはエージェントコントローラーによって行われます。コントローラーの役割はパーティションのリーダーを指定し、フォロワーブローカーが失敗したときにフォロワーまたはリーダーを再割り当てすることなので、このコントローラーは各ブローカーで使用できると思います。ZooKeeperは管理クラスターのコンポーネントであり、ブローカーではありません。各ブローカーのステータスを監視します。ブローカーが利用できない場合、ZooKeeperはそれをクラスターから削除する責任があり、各トピックのリーダーであるサーバーを記録します。アクセス制御も行います。[ここに疑問があります。私の理解では、各トピックの各パーティションにリーダーブローカーがあることですが、記事には各トピックにリーダーブローカーがあると記載されていますか?

元の記事を公開9件 ・いい ね0件 857回アクセス

おすすめ

転載: blog.csdn.net/weixin_43138930/article/details/105369490