kafka系列--安装

安装jdk略，zookeeper略
创建消息持久化目录
/mnt/hadoop/kafka/kafkaLogs

下载kafka
wget http://www-eu.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz
tar –zxvf kafka_2.11-0.10.2.1.tgz –C /mnt/Hadoop

修改配置
config/
vi server.properties
broker.id=0 一个节点一个号，顺序排列
delete.topic.enable=true  设置true,否则只是标记删除

auto.create.topics.enable=false  关闭自动创建topic

listeners=PLAINTEXT://0.0.0.0:9092

advertised.listeners=PLAINTEXT://ip:9092   监听地址，kafka-0.9以后,舍弃advertised.host.name
log.dirs=/mnt/hadoop/kafka/kafkaLogs  消息持久化目录
zookeeper.connect=ip:2181  调zk集群

scp –r /mnt/hadoop/kafka  root@ip:/mnt/ hadoop/
在其他节点上修改server.properties
broker.id=1   数字依次排序
listeners=PLAINTEXT://0.0.0.0:9093

advertised.listeners=PLAINTEXT://ip:9093

开启kafka  进程名为kafka，在每个节点下运行

nohup bin/kafka-server-start.sh  -daemon config/server.properties &

停止kafka
bin/kafka-server-stop.sh

kafka常用操作命令：
查看当前服务器中的所有topic

bin/kafka-topics.sh --list --zookeeper  bigdata1:2181

创建topic
./kafka-topics.sh --create --zookeeper bigdata1:2181 --replication-factor 1 --partitions 3 --topic first

删除topic

sh bin/kafka-topics.sh --delete --zookeeper bigdata1:2181 --topic test
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

通过shell命令发送消息

kafka-console-producer.sh --broker-list bigdata1:9092 --topic itheima
通过shell消费消息

sh bin/kafka-console-consumer.sh --zookeeper bigdata1:2181 --from-beginning --topic test1

查看消费位置
sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper bigdata1:2181 --group testGroup

查看某个Topic的详情

sh kafka-topics.sh --topic test --describe --zookeeper bigdata1:2181

单节点下的多个broker：
创建消息持久化目录
kafkaLogs-1
kafkaLogs-2

在config下复制
cp server.properties server-1.properties
cp server.properties server-2.properties

server-1.properties：
listeners=PLAINTEXT://0.0.0.0:9093
advertised.listeners=PLAINTEXT://ip:9093
broker.id=0
log.dirs=/mnt/hadoop/kafka/kafkaLogs-1

server-2.properties：
listeners=PLAINTEXT://0.0.0.0:9094
advertised.listeners=PLAINTEXT://ip:9094
broker.id=1
log.dirs=/mnt/hadoop/kafka/kafkaLogs-2


JMX_PORT=9997  /mnt/hadoop/kafka/bin/kafka-server-start.sh  -daemon /mnt/hadoop/kafka/config/server-1.properties &
JMX_PORT=9998  /mnt/hadoop/kafka/bin/kafka-server-start.sh  -daemon /mnt/hadoop/kafka/config/server-2.properties &