Centos7.4を覚えてKafkaクラスターを構築してください(v2.12-2.3.0)

1.基本情報

公式サイト:http//kafka.apache.org

クイックスタート:http//kafka.apache.org/quickstart

公式ウェブサイトからダウンロード:http//kafka.apache.org/downloads http://apache.fayea.com/kafka/   

中国の文書:http//kafka.apachecn.org/

W3CSchool:https://www.w3cschool.cn/apache_kafka/

Hortonworks:https://hortonworks.com/apache/kafka

2.システムおよびツールの構成情報

1.システムバージョン:CentOS-7-x86_64-Minimal-1708  

2. JDKバージョン:jdk1.8

3.ツール:xshell5

4. VMwareバージョン:VMware Workstation Pro15

3、クラスター構築

1.仮想マシンのインストール

参照 https://blog.csdn.net/llwy1428/article/details/89328381

2.JDK8環境の構築

https://blog.csdn.net/llwy1428/article/details/85232267を参照して ください

3.Zookeeperクラスター環境の構築

参照 https://blog.csdn.net/llwy1428/article/details/85937442

上記のJDKおよびZookeeper環境の構築は、クラスターの各ノードで完了する必要があります

4. node3.cnノードで基本構成を実行します(基本情報を構成した後、構成されたインストールファイルを他のノードに送信します)

カタログを入力してください

[root@node3 ~]# cd /opt/cluster/

5.ファイルをダウンロードして解凍します

下载: 
[root@node3 cluster]# wget https://www-eu.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz 
解压:
[root@node3 cluster]# tar zxvf kafka_2.12-2.3.0.tgz

6.エンパワーメント

[root@node3 cluster]# chmod 777 -R kafka_2.12-2.3.0

カタログを見る

7.構成ファイルを編集します

[root@node3 cluster]# vim /opt/cluster/kafka_2.12-2.3.0/config/server.properties
#修改以下配置
#为方便,直接将broker.id设置为了ip的最后一段,当集群中有多个Kafka时,他们的这个值必须不一样
broker.id=133
#端口暂时不变
port=9092
#hostname修改为本机的主机名
host.name=node3.cn
#可选配置项,将日志输出到指定的位置
log.dirs=/tmp/kafka-logs
#必须配置自己的zookeeper
zookeeper.connect=node3.cn:2181,node4.cn:2181,node5.cn:2181
#在配置集群的时候,必须设置
listeners = PLAINTEXT://node3.cn:9092

注意

スタンドアロンバージョンの場合は、デフォルト構成を使用してください。

クラスタを構成している場合は、次の情報を変更する必要があります。

(1)Broker.id:同じクラスター内で、各マシンを同じにすることはできません

(2)Zookeeper.connect:3つのzookeeperサーバーがあるため、ここではzookeeper.connectを3に設定し、すべてを追加する必要があります

(3)、リスナー:クラスターを構成するときは、設定する必要があります。そうしないと、後続の操作でリーダーが見つからないというエラーが報告されます。

8.構成されたファイルを配布します

[root@node3 cluster]# scp -r /opt/cluster/kafka_2.12-2.3.0 node4.cn:/opt/cluster/
[root@node3 cluster]# scp -r /opt/cluster/kafka_2.12-2.3.0 node5.cn:/opt/cluster/

9.ノードnode4.cnを入力します

構成ファイルserver.propertiesを変更します

[root@node4 cluster]# vim /opt/cluster/kafka_2.12-2.3.0/config/server.properties

情報を変更する

broker.id=134
listeners=PLAINTEXT://node4.cn:9092

10.ノードnode5.cnを入力します

構成ファイルserver.propertiesを変更します

[root@node5 cluster]# vim /opt/cluster/kafka_2.12-2.3.0/config/server.properties

情報を変更する

broker.id=135
listeners=PLAINTEXT://node5.cn:9092

11.ファイアウォールまたはポートの設定

クラスタ内の各ノードのファイアウォールをオフにするか、対応するポートを開きます

ファイアウォールをオフにします

关闭防火墙    : systemctl stop firewalld
查看状态      : systemctl status firewalld
开机禁用      : systemctl disable firewalld

ホワイトリストへの移植

[root@node3 ~]# firewall-cmd --zone=public --add-port=9092/tcp --permanent
[root@node3 ~]# firewall-cmd --reload

12. Zookeeperクラスターを開始し、クラスター内の各ノードのZookeeperステータスを表示します

プロセス:省略。https://hunter.blog.csdn.net/article/details/96651537を参照してください 

Zookeeperクラスター内の各ノードのステータスを表示する

~]# /opt/cluster/zookeeper-3.4.5-cdh5.16.1/bin/zkServer.sh status

13.クラスターの各ノードでKafkaサービスを開始します

[root@node3 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-server-start.sh -daemon /opt/cluster/kafka_2.12-2.3.0/config/server.properties
[root@node4 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-server-start.sh -daemon /opt/cluster/kafka_2.12-2.3.0/config/server.properties
[root@node5 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-server-start.sh -daemon /opt/cluster/kafka_2.12-2.3.0/config/server.properties

14.クラスター内の各ノードのサービスの起動ステータスを表示します

    

15.カフカを操作する 

トピックを作成する

[root@node3 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-topics.sh --create --zookeeper node3.cn:2181 --replication-factor 1 --partitions 1 --topic test

以下に示すように、正常に作成されました。

説明: 
-zookeeper:は複数のコンマで構成された
zkサーバーのアドレスです --replication-factor:パーティションリーダーレプリカの数、1はレプリカまたはパーティション自体がないことを意味します。2にすることをお勧めします 
--partitions:パーティションの数 
--topic:topic名前

16.トピックを表示

[root@node3 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-topics.sh --list --zookeeper node3.cn:2181

17.テストトピック情報を表示する

[root@node3 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-topics.sh --describe --zookeeper node3.cn:2181 --topic test

説明: 

リーダー:メッセージの読み取りと書き込みの処理を担当します。リーダーはすべてのノードからランダムに選択されます。

レプリカ:ノードが稼働中であるかどうかに関係なく、すべてのレプリカノードを一覧表示します。

Lsr:稼働中のノードです。

18.ニュースを公開する

[root@node3 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-console-producer.sh --broker-list node3.cn:9092 --topic test

19.消費者ニュース

[root@node5 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-console-consumer.sh --bootstrap-server node3.cn:9092 --topic test --from-beginning

説明: 

from-beginning:毎回ゼロから始める

20、トピックを削除

[root@node3 ~]# /opt/cluster/kafka_2.12-2.3.0/bin/kafka-topics --delete --zookeeper node3.cn:2181 --topic test

4、クラスターの視覚的管理

https://blog.csdn.net/llwy1428/article/details/94389615

 

これまでのところ、Centos7.4はKafkaクラスター(v2.12-2.3.0)を構築しており、操作は完了です。

おすすめ

転載: blog.csdn.net/llwy1428/article/details/94387413