Javaにカフカの概要インストールと飼育係

この章の内容

  カフカについて

  二つのカフカのインストール

  三カフカテスト

  四ZKインストール

 

Aカフカはじめに

  1、役割:

    ブローカー(Aカフカノード)

    プロデューサー(生産者)

    話題(テーマ)

    消費者(消費者、消費者団体は1つのパーティション内のグループどのテーマ消費、生産と消費が注文されるように構成することができます)

    パーティション(パーティションのトピック数、すなわち、このトピックデータは、いくつかの代表に分割されています)

    コピー(コピーのトピック数、いくつかのノードがハングアップする場合には、あなたはデータが失われないことを確認することができます)

    (秩序の消費を確実にするためにオフセット消費)をオフセット

  2、必要ZKクラスタ、なぜ?ZKはカフカでの中心的位置を占めます

    2.1は、すべてのブローカーノードを管理します。

    テーママネージャ2.2:ZK管理によってどのように消費者支出のコピーを置くためにどのようにどのように、パーティションを作成するトピック、。

    2.3レコードのオフセット。

    2.4マネージャのコンシューマ・グループ:トピックを過ごすために、コンシューマ・グループを作成した後(コンシューマ・グループは、話題の消費率を高めることです)

  3、メリット

    高スループット:ゼロコピー、ネッティーのネットワーク伝送。

    データ保持期間:7日間保存されているデフォルトのデータ。

    管理オフセット:オフセットカフカ] [__ consumer_offsetsが来るトピックに更新されます

二つのカフカインストール:

  解凍:

    タールGZ -Cディレクトリ

  構成:

    config / server.properties:

      broker.id カフカ一つのサーバがクラスタ内にあるブローカクラスタ固有の識別ID、0,1,2,3ターン増加(ブローカー))

      log.dirs =実際のデータ・ストレージ・パス

      zookeeper.connect = node01:2181、node02で:2181、node03の:2181(ZK必要性クラスタ)

  スタート:

    ビン/ kafka-server-start.shのconfig / server.properties //カフカを開始し、リードするコンフィギュレーションファイルを指定します

三カフカ試験 :(通常の使用)は、等filebeat、水路などの他のミドルウェア用途に統合されています

  ビューのヘルプマニュアル:

    ビン/ kafka-console-consumer.shヘルプ

  トピックのリストを表示します。

    ビン/ kafka-topics.sh --zookeeper node06:2181、node07:2181、node08:2181 --list

  「テスト」のトピックの説明を確認します。

    ビン/ kafka-topics.sh --zookeeper node06:2181、node07:2181、node08:2181 --describe --topicテスト

  トピック作成

    ビン/ kafka-topics.sh --zookeeper node06:2181、node07:2181、node08:2181 --create --replication因子2 --partitions 3 --topic試験

    (パラメータ:

      --replicationファクタ:デフォルトの部数

      --partitions:指定現在、作成したパーティションのトピックの数、デフォルトの1(パーティションは、この時点で注文したいくつかのデータ・パーティションに分散し、全体的な障害)

      --topic:指定の新しいトピックの名前

    )

  プロデューサーの作成(トピックへの生産データ)

    ビン/ kafka-console-producer.sh --brokerリストnode06:9092、node07:9092、node08:9092 --topicテスト

 

  消費者の作成(消費データのトピック)

    ビン/ kafka-console-consumer.sh --zookeeper node06:2181、node07:2181、node08:2181 --from-始まる--topicテスト

    (パラメータ:

      --from-始まるスクラッチ消費から

    )

  

四ZKインストール:

  1:抽出タール-zxvf zookeeper.tar.gz

  2:修正zoo.cfgプロフィール

    CP zooo_sample.cfg zoo.cfg

    我々zoo.cfg

= DATADIRは/ opt / ZK /データ      // 修正DATADIRディレクトリ、ユーザーデータの永続性、カスタムの場所のディレクトリには、
#エンドzoo.cfgに次のように追加します。 2888 クラスタマシン通信用 3888 を使用する選挙リーダー 2181 ポート番号は外部のクライアントのために使用され、コンフィギュレーション・ファイルCLIENTPORT 
#node01とnode02 node03のは、マッピングIPと名前を行うためにhostsファイルを使用するように設定され サーバ。
1 = node01:2888:3888 のサーバー。2 =とnode02:2888:3888 のサーバー。= node03の3:2888:3888  

  3:MYID(DATADIRディレクトリ内)  

    エコー1> / OPT / ZK /データ/ MYIDある(上記の構成に対応する3台のサーバ123をMYID)

  4:開始(スタート各ノード)

    zkServer.sh開始

おすすめ

転載: www.cnblogs.com/dblog/p/12206125.html