2.1 伪分布式安装 生产消费数据案例
9092是kafka默认端口,在 kafka/conf/server.properties下可以看到
解压: [root@h2single local]# tar -zxvf kafka_2.10-0.8.2.0.tgz 重命名 [root@h2single local]# mv kafka_2.10-0.8.2.0/ kafka 使用自动zk 并启动zk: 启动ZK : [root@h2single kafka]# bin/zookeeper-server-start.sh config/zookeeper.properties & (&表示后台启动) 启动kafka服务 [root@h2single kafka]# bin/kafka-server-start.sh config/server.properties & 创建主题( 意味着有临时存放数据的地方了) [root@h2single kafka]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 命令解释如下: --zookeeper localhost:2181 指定了zk --replication-factor 1 指定了副本数 --partitions 1 指定了分区数 --topic test 主题名称 查看所有主题名称: [root@h2single kafka]# bin/kafka-topics.sh --list --zookeeper localhost:2181 结果: [2015-03-06 23:31:25,145] INFO Established session 0x14bf32190630002 with negotiated timeout 30000 for client /0:0:0:0:0:0:0:1:59839 (org.apache.zookeeper.server.ZooKeeperServer) test ----> 显示刚创建的topic名称 查看指定主题名称的详细信息: [root@h2single kafka]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test Topic:test PartitionCount:1 ReplicationFactor:1 Configs: Topic: test Partition: 0 0表示标号 Leader: 0 Replicas: 0 Isr: 0 创建生产者 [root@h2single kafka]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 后输入如下 hello me you an me are ok 创建消费者 [root@h2single kafka]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning 得到如下数据,表示生产的数据被消费到了 hello you hhello me you an me are ok
伪分布下制造多个broker,并指定副本个数下创建主题:
1 copy 配置文件 conf/server.properties [root@h2single config]# cp server.properties server1.properties [root@h2single config]# cp server.properties server2.properties 2 修改端口 port vi server1.properties broker.id=1 port=9093 log.dirs=/tmp/kafka1-logs vi server2.properties broker.id=2 port=9094 log.dirs=/tmp/kafka2-logs 3 启动另外两个broker: bin/kafka-server-start.sh config/server1.properties & bin/kafka-server-start.sh config/server2.properties & 4 jps查看,目前已经启动了三个kafka broker: 5 在创建主题的时候 设定副本个数 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic test1 创建生产者 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1 创建消费者 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test1 --from-beginning