ドッキングウィンドウカフカ単一ノードの展開とクラスタ

ドッキングウィンドウカフカ単一ノード

ホストのIP:192.168.43.177

1.ダウンロードした画像は、
wurstmeister /カフカとここwurstmeister /飼育係ミラー化された2つのバージョンを使用し
プルwurstmeister /飼育係のドッキングウィンドウ
ドッキングウィンドウプルwurstmeister /カフカ
の画像は2つのコマンドでインストールされている検証の実行]ドッキングウィンドウのイメージ
2.スタート
スタート飼育係コンテナの
ドッキングウィンドウ2181:-d --name飼育係-p 2181を実行 -t wurstmeister /飼育係

启动カフカ容器
ドッカー実行-d --nameカフカ-p 9092:9092 -e KAFKA_BROKER_ID = 0 -e KAFKA_ZOOKEEPER_CONNECT = 192.168.43.177:2181 -e KAFKA_ADVERTISED_LISTENERS = PLAINTEXT://192.168.43.177:9092 -e KAFKA_LISTENERS = PLAINTEXT:/ /0.0.0.0:9092 -t wurstmeister /カフカ

コンテナ操作3.移動:
CDが/opt/kafka_2.12-2.3.0/bin
テーマ作成
SH kafka-topics.sh --create --zookeeper 192.168.43.177:2181 --replicationファクター 1 --partitions 2 - 話題のテスト
[server.propertiesでセットdelete.topic.enable = trueにする必要]削除話題
SH kafka-topics.sh --delete --zookeeper 192.168.43.177:2181 --topicテスト
トピックを表示:
SH kafka-topics.sh --zookeeper 192.168.43.177:2181 --list
SH kafka-topics.sh --describe --zookeeper 192.168.43.177:2181 --topicテスト
生産メッセージ:
SH一覧kafka-console-producer.sh --broker-192.168。 43.177:9092 --topicテスト
消費者のメッセージ:
SH kafka-console-consumer.sh --bootstrap-サーバー192.168.43.177:9092試験- --topic以降--from
SHカフカが慣れライブCONSOL e-consumer.sh --bootstrap-サーバー192.168.43.177:9092 --topicテスト

-------------------------------------------------- ------------------------------

ドッキングウィンドウカフカクラスタの展開

ホストのIP:192.168.43.177

1.ダウンロード画像は
wurstmeister /カフカのZooKeeperここで使用すると、画像の2つのバージョン
飼育係ドッカープル
ドッカープルwurstmeister /カフカ
実行]ドッキングウィンドウのイメージは、二つのミラーは、コマンドでインストールされていることを確認してください
。2.書き込みドッカ-kafka.yml文書、コンテンツを次のように:

バージョン: '2'
サービス:
zoo1:
イメージ:ZooKeeperの
ホスト名:zoo1
CONTAINER_NAME:zoo1
ポート:
- 2181:2181
環境:
ZOO_MY_ID:1
ZOO_SERVERS:server.1 = 0.0.0.0:2888:3888; 2181 server.2 = zoo2。 2888:3888; 2181 server.3 = zoo3:2888:3888; 2181

zoo2:
イメージ:ZooKeeperの
ホスト名:zoo2
CONTAINER_NAME:zoo2の
ポート:
- 2182:2181
環境:
ZOO_MY_ID:2
ZOO_SERVERS:server.1 = zoo1:2888:3888; 2181 server.2 = 0.0.0.0:2888:3888; 2181サーバ。 3 = zoo3:2888:3888; 2181

zoo3:
イメージ:ZooKeeperの
ホスト名:zoo3
CONTAINER_NAME:zoo3
ポート:
- 2183:2181
環境:
ZOO_MY_ID:3
ZOO_SERVERS:server.1 = zoo1:2888:3888; 2181 server.2 = zoo2:2888:3888; 2181 server.3 = 0.0.0.0:2888:3888;2181


kafka1:
画像:wurstmeister /カフカ
ホスト名:kafka1
CONTAINER_NAME:kafka1
ポート:
- "9091:9091"
depends_on:
- zoo1
- zoo2
- zoo3
環境:
KAFKA_BROKER_ID:1
KAFKA_HOST_NAME:kafka1
KAFKA_ZOOKEEPER_CONNECT:zoo1: 2181年、zoo2:2181、zoo3:2181
KAFKA_LISTENERS:PLAINTEXT:// kafka1:9091
KAFKA_ADVERTISED_LISTENERS:PLAINTEXT:// kafka1:9091の
容量:
- /var/run/docker.sock:/var/run/docker.sockの
リンク:
- zoo1
- zoo2
- zoo3

kafka2:
画像:wurstmeister /カフカ
ホスト名:kafka2
CONTAINER_NAME:kafka2
ポート:
- "9092:9092"
depends_on:
- zoo1
- zoo2
- zoo3
環境:
KAFKA_BROKER_ID:2
KAFKA_HOST_NAME:kafka2
KAFKA_ZOOKEEPER_CONNECT:zoo1:2181、zoo2:2181、zoo3:2181
KAFKA_LISTENERS:PLAINTEXT:// kafka2:9092
KAFKA_ADVERTISED_LISTENERS:PLAINTEXT: // kafka2:9092
容量:
- /var/run/docker.sock:/var/run/docker.sock
リンク:
- zoo1
- zoo2
- zoo3

kafka3:
画像:wurstmeister /カフカ
ホスト名:kafka3
CONTAINER_NAME:kafka3
ポート:
- "9093:9093"
depends_on:
- zoo1
- zoo2
- zoo3
環境:
KAFKA_BROKER_ID:3
KAFKA_HOST_NAME:kafka3
KAFKA_ZOOKEEPER_CONNECT:zoo1:2181、zoo2:2181、zoo3:2181
KAFKA_LISTENERS:PLAINTEXT:// kafka3:9093
KAFKA_ADVERTISED_LISTENERS:PLAINTEXT:// kafka3:9093
容量:
- /var/run/docker.sock:/var/run/docker.sockの
リンク:
- zoo1
- zoo2
- zoo3

3.作成カフカクラスタ、次のホストドッカ-kafka.ymlファイルディレクトリ
アップドッキングウィンドウ・コン-fドッキングウィンドウ-kafka.yml -d

4.変更ホストまたは他のクライアントホストのホスト設定、次のような構成
192.168.43.177 kafka1
192.168.43.177 kafka2
192.168.43.177 kafka3

関連コマンド:
コンテナを停止します。
ドッカーSTOPはzoo1 zoo2 zoo3 kafka1 kafka2 kafka3
削除コンテナ:
ドッカーRM zoo1 zoo2 zoo3 kafka1 kafka2 kafka3
:テーマ作成
SH kafka-topics.sh --create --zookeeper 192.168.43.177:2181,192.168.43.177を: 2182,192.168.43.177:2183 --replication-因子1 --partitions 2 --topicテスト
トピックを表示:
SH kafka-topics.sh --list --zookeeper 192.168.43.177:2181,192.168.43.177:2182,192.168。 43.177:2183
SH kafka-topics.sh --describe --zookeeper 192.168.43.177:2181,192.168.43.177:2182,192.168.43.177:2183 --topicテスト
生産メッセージ:
SH kafka-console-producer.sh --broker -list 192.168.43.177:9091,192.168.43.177:9092,192.168.43.177:9093 --topicテスト
消費者のメッセージ:
SH kafka-console-consumer.sh --bootstrapサーバ192.168.43.177:9091,192.168.43.177:9092,192.168.43.177:9093 --from-始まる--topicテスト

問題解決:
1、ウィンドウにドッキングウィンドウ-compse実行コン-docker.ymlの出会いの問題を使用します。マウントは拒否されました:\ nのソースパス「 \\\\ VAR \\\\実行\\\\ docker.sock:/var/run/docker.sockは」\有効なWindowsのパスではありませんNIS
回避策:設定された環境変数のCOMPOSE_CONVERT_WINDOWS_PATHSを= 1

2、にjava.io.IOExceptionは:アドレス解決できません kafka1:9091
ソリューション:変更ホストまたは他のクライアントホストのホスト構成、次のような構成を

3、[2019年12月4日17:37:00848] WARN [プロデューサのclientId =コンソールプロデューサー]パーティションテスト0 org.apache.kafka.common.errors.NotLeaderForPartitionExceptionによるに生産要求に無効なメタデータのエラーを受信:このサーバーは現在、(org.apache.kafka.clients.producer.internals.Sender)のメタデータの更新を要求するために行く...そのトピック・パーティションのリーダーではない
[17 2019年12月4日:37:00953] ERRORエラーメッセージを送信するときキーで話題のテストに:NULL、値:エラーで0バイト:(org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.NotLeaderForPartitionException:このサーバーは、そのためのリーダーではありませんトピック・パーティション。
解决方法:修改容器内カフカ相关端口、kafka1示例:
ポート:
- "9091:9091"
KAFKA_LISTENERS:PLAINTEXT:// kafka1:9091
KAFKA_ADVERTISED_LISTENERS:PLAINTEXT:// kafka1:9091

 

おすすめ

転載: www.cnblogs.com/rock-et/p/11984754.html