Kafkaの定義、インストール、追加、削除、変更、およびクエリコマンド

1。概要

Kafkaは、パブリッシュ/サブスクライブモデルに基づく分散メッセージキュー（メッセージキュー）であり、主にビッグデータのリアルタイム処理で使用されます。

メッセージキューの従来のアプリケーション領域は、非同期処理、トラフィックピークの削減、およびデカップリングです。

メッセージキューの2つのモード：

ポイントツーポイントモード（1対1、コンシューマーはアクティブにデータをプルし、メッセージの受信後にメッセージはクリアされます）

パブリッシュ/サブスクライブモデル（1対多、コンシューマーがデータを消費した後、メッセージはクリアされません）

2.インストール

解凍後に構成ファイルserver.propertitiesを変更します

#broker的全局唯一编号，不能重复，每个节点的id不一样
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#kafka运行日志存放的路径，需要自己创建
log.dirs=/opt/module/kafka/logs
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

環境変数を構成する

$ sudo vi /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka

$ source /etc/profile

3.Kafakコマンド

起動とシャットダウン

#启动
bin/kafka-server-start.sh -daemon config/server.properties
#关闭
bin/kafka-server-stop.sh stop

追加、削除、変更

创建
bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 
 1 --topic first
    选项说明：
    --topic 定义topic名
    --replication-factor  定义副本数
    --partitions  定义分区数

删除
bin/kafka-topics.sh --zookeeper hadoop102:2181 --delete --topic first
需要server.properties中设置delete.topic.enable=true否则只是标记删除。

查看
    查看所有
    bin/kafka-topics.sh --zookeeper hadoop102:2181 --list
    
    查看某一个topic
    bin/kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first

修改分区数
bin/kafka-topics.sh --zookeeper hadoop102:2181 --alter --topic first --partitions 6

消费消息
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first
    --from-beginning：会把主题中以往所有的数据都读取出来。