ELFKログエントリプラットフォーム4 ---カフカクラスタのセットアップ

1 --- ELFKログ・プラットフォーム・アーキテクチャ設計をはじめ

ELFKログエントリプラットフォーム2 --- Elasticseachクラスタのセットアップ   

3 --- Kibanaを構築するためのELFKログエントリプラットフォーム

ELFKログエントリプラットフォーム4 ---カフカクラスタのセットアップ

エントリー-5 --- Logstash + Filebeatクラスタセットアップ用ELFKログプラットフォーム

この章では、我々はKafakaクラスタ構造を紹介します。

 1、環境の準備

  リソース・プランニング:

   環境設定: 

  • レジストリとして飼育係にカフカ、あなたは飼育係クラスタをインストールする必要があるので、カフカのインストールパッケージも詳細に議論されることはありません、来ます。

 2 、カフカがライブクラスタのインストールに使用しました

       以下の操作は、操作に3台のマシンのとおりです。

  • カフカは、インストールパッケージを抽出します。
# tar zxf kafka_2.11-2.2.0.tgz && mv kafka_2.11-2.2.0 /usr/local/kafka
  • カフカの設定を変更します。
# vim /usr/local/kafka/config/server.properties

broker.id=1                 #ID唯一,填数字,本文中分别为1/2/3
port=9092
host.name=192.168.0.0               #本机ip
log.dirs=/data/kafka/kafka-logs                 #数据存放目录,不是日志目录
num.partitions=16               #每个topic的默认分区数
log.retention.hours=168             #过期时间,默认为1周
zookeeper.connect=192.168.0.0:2181,192.168.0.1:2181,192.168.0.2:2181                #zookeeper ip及端口

# mkdir -p /data/kafka
  • スタートカフカ:
# cd /user/local/kafka

# nohup /user/local/kafka/bin/kafka-server-start.sh /user/local/kafka/config/server.properties &>/dev/null &

 3 、試験カフカクラスタ

       以下の操作は、操作に3台のマシンのとおりです。

  • トピックを作成します。
# /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.0.0:2181 --replication-factor 3 --partitions 1 --topic test                     #注意:factor大小不能超过broker的个数

Created topic test.
  • トピックが作成されています:
# /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.0.0:2181
test
  • 話題のテストの詳細を表示します。
# /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.0.0:2181 --topic test

Topic:test	PartitionCount:1	ReplicationFactor:3	Configs:
	Topic: test	Partition: 0	Leader: 1	Replicas: 1,2,3	Isr: 1,2,3


#主题名称:test

#Partition:只有一个,从0开始

#leader :id为1的broker

#Replicas 副本存在于broker id为1,2,3的上面

#Isr:活跃状态的broker
  • プロデューサーの送信メッセージ:
# /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.0.0:9092 --topic test
>test
>test1
>test22
  • 消費者は、メッセージが表示されます。
# /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.0:9092 --topic test --from-beginning                  # --from-beginning表示从开始接收,否则只接收新产生的消息
test
test1
test22

 上記のようカフカクラスタの展開の成功を示す、カフカの生産者と消費者のコミュニケーションが成功した見ることができます。

 これまでのところ、カフカのクラスターは、構造体を完了しました。

 

公開された41元の記事 ウォン称賛47 ビュー30000 +

おすすめ

転載: blog.csdn.net/u014526891/article/details/102918797