1.基本情報
公式サイト:http://kafka.apache.org
クイックスタート:http://kafka.apache.org/quickstart
公式ウェブサイトからダウンロード:http://kafka.apache.org/downloads http://apache.fayea.com/kafka/
中国の文書:http://kafka.apachecn.org/
W3CSchool:https://www.w3cschool.cn/apache_kafka/
Hortonworks:https://hortonworks.com/apache/kafka
2.システムおよびツールの構成情報
1.システムバージョン:CentOS-7-x86_64-Minimal-1708
2. JDKバージョン:jdk1.8
3.ツール:xshell5
4. VMwareバージョン:VMware Workstation Pro15
3、クラスター構築
1.仮想マシンのインストール
参照 https://blog.csdn.net/llwy1428/article/details/89328381
2.JDK8環境の構築
https://blog.csdn.net/llwy1428/article/details/85232267を参照して ください
3.Zookeeperクラスター環境の構築
参照 https://blog.csdn.net/llwy1428/article/details/85937442
上記のJDKおよびZookeeper環境の構築は、クラスターの各ノードで完了する必要があります
4. node3.cnノードで基本構成を実行します(基本情報を構成した後、構成されたインストールファイルを他のノードに送信します)
カタログを入力してください
[root@node3 ~]# cd /opt/cluster/
5.ファイルをダウンロードして解凍します
下载:
[root@node3 cluster]# wget https://www-eu.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz
解压:
[root@node3 cluster]# tar zxvf kafka_2.12-2.3.0.tgz
6.エンパワーメント
[root@node3 cluster]# chmod 777 -R kafka_2.12-2.3.0
カタログを見る
7.構成ファイルを編集します
[root@node3 cluster]# vim /opt/cluster/kafka_2.12-2.3.0/config/server.properties
#修改以下配置
#为方便,直接将broker.id设置为了ip的最后一段,当集群中有多个Kafka时,他们的这个值必须不一样
broker.id=133
#端口暂时不变
port=9092
#hostname修改为本机的主机名
host.name=node3.cn
#可选配置项,将日志输出到指定的位置
log.dirs=/tmp/kafka-logs
#必须配置自己的zookeeper
zookeeper.connect=node3.cn:2181,node4.cn:2181,node5.cn:2181
#在配置集群的时候,必须设置
listeners = PLAINTEXT://node3.cn:9092
注意
スタンドアロンバージョンの場合は、デフォルト構成を使用してください。
クラスタを構成している場合は、次の情報を変更する必要があります。
(1)Broker.id:同じクラスター内で、各マシンを同じにすることはできません
(2)Zookeeper.connect:3つのzookeeperサーバーがあるため、ここではzookeeper.connectを3に設定し、すべてを追加する必要があります
(3)、リスナー:クラスターを構成するときは、設定する必要があります。そうしないと、後続の操作でリーダーが見つからないというエラーが報告されます。
8.構成されたファイルを配布します
[root@node3 cluster]# scp -r /opt/cluster/kafka_2.12-2.3.0 node4.cn:/opt/cluster/
[root@node3 cluster]# scp -r /opt/cluster/kafka_2.12-2.3.0 node5.cn:/opt/cluster/
9.ノードnode4.cnを入力します
構成ファイルserver.propertiesを変更します
[root@node4 cluster]# vim /opt/cluster/kafka_2.12-2.3.0/config/server.properties
情報を変更する
broker.id=134
listeners=PLAINTEXT://node4.cn:9092
10.ノードnode5.cnを入力します
構成ファイルserver.propertiesを変更します
[root@node5 cluster]# vim /opt/cluster/kafka_2.12-2.3.0/config/server.properties
情報を変更する
broker.id=135
listeners=PLAINTEXT://node5.cn:9092
11.ファイアウォールまたはポートの設定
クラスタ内の各ノードのファイアウォールをオフにするか、対応するポートを開きます
ファイアウォールをオフにします
关闭防火墙 : systemctl stop firewalld
查看状态 : systemctl status firewalld
开机禁用 : systemctl disable firewalld
ホワイトリストへの移植
[root@node3 ~]# firewall-cmd --zone=public --add-port=9092/tcp --permanent
[root@node3 ~]# firewall-cmd --reload
12. Zookeeperクラスターを開始し、クラスター内の各ノードのZookeeperステータスを表示します
プロセス:省略。https://hunter.blog.csdn.net/article/details/96651537を参照してください
Zookeeperクラスター内の各ノードのステータスを表示する
~]# /opt/cluster/zookeeper-3.4.5-cdh5.16.1/bin/zkServer.sh status
13.クラスターの各ノードでKafkaサービスを開始します
[root@node3 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-server-start.sh -daemon /opt/cluster/kafka_2.12-2.3.0/config/server.properties
[root@node4 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-server-start.sh -daemon /opt/cluster/kafka_2.12-2.3.0/config/server.properties
[root@node5 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-server-start.sh -daemon /opt/cluster/kafka_2.12-2.3.0/config/server.properties
14.クラスター内の各ノードのサービスの起動ステータスを表示します
15.カフカを操作する
トピックを作成する
[root@node3 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-topics.sh --create --zookeeper node3.cn:2181 --replication-factor 1 --partitions 1 --topic test
以下に示すように、正常に作成されました。
説明:
-zookeeper:は複数のコンマで構成された
zkサーバーのアドレスです --replication-factor:パーティションリーダーレプリカの数、1はレプリカまたはパーティション自体がないことを意味します。2にすることをお勧めします
--partitions:パーティションの数
--topic:topic名前
16.トピックを表示
[root@node3 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-topics.sh --list --zookeeper node3.cn:2181
17.テストトピック情報を表示する
[root@node3 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-topics.sh --describe --zookeeper node3.cn:2181 --topic test
説明:
リーダー:メッセージの読み取りと書き込みの処理を担当します。リーダーはすべてのノードからランダムに選択されます。
レプリカ:ノードが稼働中であるかどうかに関係なく、すべてのレプリカノードを一覧表示します。
Lsr:稼働中のノードです。
18.ニュースを公開する
[root@node3 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-console-producer.sh --broker-list node3.cn:9092 --topic test
19.消費者ニュース
[root@node5 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-console-consumer.sh --bootstrap-server node3.cn:9092 --topic test --from-beginning
説明:
from-beginning:毎回ゼロから始める
20、トピックを削除
[root@node3 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-topics --delete --zookeeper node3.cn:2181 --topic test
4、クラスターの視覚的管理
https://blog.csdn.net/llwy1428/article/details/94389615
これまでのところ、Centos7.4はKafkaクラスター(v2.12-2.3.0)を構築しており、操作は完了です。