この章の内容
カフカについて
二つのカフカのインストール
三カフカテスト
四ZKインストール
Aカフカはじめに:
1、役割:
ブローカー(Aカフカノード)
プロデューサー(生産者)
話題(テーマ)
消費者(消費者、消費者団体は1つのパーティション内のグループどのテーマ消費、生産と消費が注文されるように構成することができます)
パーティション(パーティションのトピック数、すなわち、このトピックデータは、いくつかの代表に分割されています)
コピー(コピーのトピック数、いくつかのノードがハングアップする場合には、あなたはデータが失われないことを確認することができます)
(秩序の消費を確実にするためにオフセット消費)をオフセット
2、必要ZKクラスタ、なぜ?(ZKはカフカでの中心的位置を占めます)
2.1は、すべてのブローカーノードを管理します。
テーママネージャ2.2:ZK管理によってどのように消費者支出のコピーを置くためにどのようにどのように、パーティションを作成するトピック、。
2.3レコードのオフセット。
2.4マネージャのコンシューマ・グループ:トピックを過ごすために、コンシューマ・グループを作成した後(コンシューマ・グループは、話題の消費率を高めることです)
3、メリット
高スループット:ゼロコピー、ネッティーのネットワーク伝送。
データ保持期間:7日間保存されているデフォルトのデータ。
管理オフセット:オフセットカフカ] [__ consumer_offsetsが来るトピックに更新されます
二つのカフカインストール:
解凍:
タールGZ -Cディレクトリ
構成:
config / server.properties:
broker.id (カフカ一つのサーバがクラスタ内にあるブローカクラスタ固有の識別ID、0,1,2,3ターン増加(ブローカー))
log.dirs =実際のデータ・ストレージ・パス
zookeeper.connect = node01:2181、node02で:2181、node03の:2181(ZK必要性クラスタ)
スタート:
ビン/ kafka-server-start.shのconfig / server.properties //カフカを開始し、リードするコンフィギュレーションファイルを指定します
三カフカ試験 :(通常の使用)は、等filebeat、水路などの他のミドルウェア用途に統合されています
ビューのヘルプマニュアル:
ビン/ kafka-console-consumer.shヘルプ
トピックのリストを表示します。
ビン/ kafka-topics.sh --zookeeper node06:2181、node07:2181、node08:2181 --list
「テスト」のトピックの説明を確認します。
ビン/ kafka-topics.sh --zookeeper node06:2181、node07:2181、node08:2181 --describe --topicテスト
トピック作成
ビン/ kafka-topics.sh --zookeeper node06:2181、node07:2181、node08:2181 --create --replication因子2 --partitions 3 --topic試験
(パラメータ:
--replicationファクタ:デフォルトの部数
--partitions:指定現在、作成したパーティションのトピックの数、デフォルトの1(パーティションは、この時点で注文したいくつかのデータ・パーティションに分散し、全体的な障害)
--topic:指定の新しいトピックの名前
)
プロデューサーの作成(トピックへの生産データ)
ビン/ kafka-console-producer.sh --brokerリストnode06:9092、node07:9092、node08:9092 --topicテスト
消費者の作成(消費データのトピック)
ビン/ kafka-console-consumer.sh --zookeeper node06:2181、node07:2181、node08:2181 --from-始まる--topicテスト
(パラメータ:
--from-始まるスクラッチ消費から
)
四ZKインストール:
1:抽出タール-zxvf zookeeper.tar.gz
2:修正zoo.cfgプロフィール
CP zooo_sample.cfg zoo.cfg
我々zoo.cfg
= DATADIRは/ opt / ZK /データ // 修正DATADIRディレクトリ、ユーザーデータの永続性、カスタムの場所のディレクトリには、 #エンドzoo.cfgに次のように追加します。 # 2888 クラスタマシン通信用 # 3888 を使用する選挙リーダー # 2181 ポート番号は外部のクライアントのために使用され、コンフィギュレーション・ファイルCLIENTPORT
#node01とnode02 node03のは、マッピングIPと名前を行うためにhostsファイルを使用するように設定され サーバ。1 = node01:2888:3888 のサーバー。2 =とnode02:2888:3888 のサーバー。= node03の3:2888:3888
3:MYID(DATADIRディレクトリ内)
エコー1> / OPT / ZK /データ/ MYIDある(上記の構成に対応する3台のサーバ123をMYID)
4:開始(スタート各ノード)
zkServer.sh開始