1、zookeeper默认端口:2181
2、kafka默认端口:9092
3、运行Zookeeper
进入zookeeper-3.4.9\bin目录,双击zkServer.cmd如果打印以下信息则表示zookeeper已经安装成功并运行在2181端口
4、运行kafka:
.\bin\windows\kafka-server-start.bat .\config\server.properties
5、创建主题:
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic01
6、查看主题:
.\bin\windows\kafka-topics.bat -zookeeper localhost:2181 --list
7、创建生产者,进行cmd命令窗口,创建成功后不要关闭窗口
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic topic01
8、创建消费者,进行cmd命令窗口,创建成功后不要关闭窗口
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic01
9、效果
生产者:
消费者:
golang代码实现:
package main
import (
"fmt"
"time"
"github.com/Shopify/sarama"
)
func main() {
config := sarama.NewConfig() //实例化配置
/*发一个消息给kafka,kafka把它保存到日志文件里面,返回一个ACK。等待ACK,确定数据放盘。
看数据是否重要。*/
config.Producer.RequiredAcks = sarama.WaitForAll
//分区,topic,把topic分区,分成不同的队列,可以并发
//这里使用随机分区,随机的分到8台机器上去
config.Producer.Partitioner = sarama.NewRandomPartitioner
config.Producer.Return.Successes = true
//生产者实例,SyncProducer,这里是异步的,会先发到channel里面
client, err := sarama.NewSyncProducer([]string{"localhost:9092"}, config)
if err != nil {
fmt.Println("producer close, err:", err)
return
}
defer client.Close()
for {
//msg:要写入kafka中的数据,msg.Topic:指定kafka中的topic
msg := &sarama.ProducerMessage{}
msg.Topic = "topic01"
msg.Value = sarama.StringEncoder("this is a good test, my message is good")
//消息发出去后,返回一个分区的pid,以及在该分区中的偏移量。
pid, offset, err := client.SendMessage(msg)
if err != nil {
fmt.Println("send message failed,", err)
return
}
fmt.Printf("pid:%v offset:%v\n", pid, offset)
time.Sleep(10 * time.Millisecond)
}
}
效果: