1 --- ELFKログ・プラットフォーム・アーキテクチャ設計をはじめ
ELFKログエントリプラットフォーム2 --- Elasticseachクラスタのセットアップ
3 --- Kibanaを構築するためのELFKログエントリプラットフォーム
ELFKログエントリプラットフォーム4 ---カフカクラスタのセットアップ
エントリー-5 --- Logstash + Filebeatクラスタセットアップ用ELFKログプラットフォーム
この章では、我々はKafakaクラスタ構造を紹介します。
1、環境の準備
リソース・プランニング:
環境設定:
- レジストリとして飼育係にカフカ、あなたは飼育係クラスタをインストールする必要があるので、カフカのインストールパッケージも詳細に議論されることはありません、来ます。
2 、カフカがライブクラスタのインストールに使用しました
以下の操作は、操作に3台のマシンのとおりです。
- カフカは、インストールパッケージを抽出します。
# tar zxf kafka_2.11-2.2.0.tgz && mv kafka_2.11-2.2.0 /usr/local/kafka
- カフカの設定を変更します。
# vim /usr/local/kafka/config/server.properties
broker.id=1 #ID唯一,填数字,本文中分别为1/2/3
port=9092
host.name=192.168.0.0 #本机ip
log.dirs=/data/kafka/kafka-logs #数据存放目录,不是日志目录
num.partitions=16 #每个topic的默认分区数
log.retention.hours=168 #过期时间,默认为1周
zookeeper.connect=192.168.0.0:2181,192.168.0.1:2181,192.168.0.2:2181 #zookeeper ip及端口
# mkdir -p /data/kafka
- スタートカフカ:
# cd /user/local/kafka
# nohup /user/local/kafka/bin/kafka-server-start.sh /user/local/kafka/config/server.properties &>/dev/null &
3 、試験カフカクラスタ
以下の操作は、操作に3台のマシンのとおりです。
- トピックを作成します。
# /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.0.0:2181 --replication-factor 3 --partitions 1 --topic test #注意:factor大小不能超过broker的个数
Created topic test.
- トピックが作成されています:
# /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.0.0:2181
test
- 話題のテストの詳細を表示します。
# /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.0.0:2181 --topic test
Topic:test PartitionCount:1 ReplicationFactor:3 Configs:
Topic: test Partition: 0 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3
#主题名称:test
#Partition:只有一个,从0开始
#leader :id为1的broker
#Replicas 副本存在于broker id为1,2,3的上面
#Isr:活跃状态的broker
- プロデューサーの送信メッセージ:
# /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.0.0:9092 --topic test
>test
>test1
>test22
- 消費者は、メッセージが表示されます。
# /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.0:9092 --topic test --from-beginning # --from-beginning表示从开始接收,否则只接收新产生的消息
test
test1
test22
上記のようカフカクラスタの展開の成功を示す、カフカの生産者と消費者のコミュニケーションが成功した見ることができます。
これまでのところ、カフカのクラスターは、構造体を完了しました。