kafka搭建和用java端实现接收发布消息

前言：

公司要用这个技术，所以把搭建过程和代码记录下来，因为卡夫卡版本的问题坑了2天时间，最后解决了

软件版本号：linux OS6.5 jdk1.8 kafka kafka_2.11-1.0.1（去官网下载，别下载错了，不是下载源码）

把压缩包拉过去。

tar zxvf kafka_2.11-1.0.1.tar.gz解压缩

得到这些东西

把光标移动到卡夫卡下

命令vim config / server.properties

添加host.name =你自己的服务器ip保存下

其他都不要动

像我这样打开4个链接

开启自带的zookeeper服务 bin/zookeeper-server-start.sh config/zookeeper.properties &

开启kafka服务（不推荐） bin/kafka-server-start.sh config/server.properties

具体什么意思不知道，反正这样启动比较好：

nohup bin/zookeeper-server-start.sh -daemon config/zookeeper.properties &

以守护进程的方式启动（推荐）：nohup bin/kafka-server-start.sh -daemon config/server.properties &

创建一个话题（类似于一个创建一个桌子打麻将）

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

看下当前话题（看看自己有几桌麻将） bin/kafka-topics.sh --list --zookeeper localhost:2181

创建一个话题发布者 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

端口号是默认的，--topic后面的是你的话题的名字，可以自定义

创建一个话题的消费者 bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --from-beginning --topic test

现在应该你发布消息，你那边的消费者是可以得到信息了，简单的单节点卡夫卡就搭建好了，下面是java的端的消费者和发布者代码

发布者
import kafka.javaapi.producer.Producer;
导入kafka.producer.KeyedMessage;
导入kafka.producer.ProducerConfig;
import java.util.Properties;
import java.util.concurrent.TimeUnit;

公共课F {
    public static void main（String [] args）throws InterruptedException {
        属性props = new Properties（）;
        props.put（ “zk.connect”， “192.168.0.112:2181”）;
        props.put（ “metadata.broker.list”， “192.168.0.112:9092”）;
        props.put（ “serializer.class”， “kafka.serializer.StringEncoder”）;
        ProducerConfig config = new ProducerConfig（道具）;
        Producer <String，String> producer = new Producer <String，String>（config）;
        for（int i = 1; i <50; i ++）{
            TimeUnit.SECONDS.sleep（1）;
            producer.send（new KeyedMessage <String，String>（“test”，i +“”））;
        }
    }
}

消费者
进口kafka.consumer.Consumer;
import kafka.consumer.ConsumerConfig;
进口kafka.consumer.KafkaStream;
import kafka.javaapi.consumer.ConsumerConnector;
import kafka.message.MessageAndMetadata;

import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;

公共类sad2扩展Thread {
    / **
     * @Description：消费者
     * /
    private static void customer（）{
            属性properties = new Properties（）;
            properties.put("zookeeper.connect", "192.168.0.112:2181");//zk的服务器
            properties.put("auto.offset.reset", "smallest");
            properties.put("group.id","test-consumer-group");//这个值是默认的分组id，不需要改

            ConsumerConfig config = new ConsumerConfig(properties);
            ConsumerConnector consumer = Consumer.createJavaConsumerConnector(config);
            Map<String,Integer> topicCountMap = new HashMap<String,Integer>();
            topicCountMap.put("test",1);//话题名称，用几个线程去消费
            Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumer.createMessageStreams(topicCountMap);
            List<KafkaStream<byte[],byte[]>> streams = consumerMap.get("test");//获取话题内容

            for(final KafkaStream<byte[],byte[]> kafkaStream : streams){
                new Thread(new Runnable() {
                    @Override
                    public void run() {
                       for(MessageAndMetadata<byte[],byte[]> mm : kafkaStream){
                           String msg = new String(mm.message());
                           System.out.println(msg);
                       }//写业务逻辑
                    }
                }).start();
            }
    }

    public static void main(String[] args) {
        customer();
        }
}

OK，单节点的就完成了

解决重复消费的问题 http://blog.51cto.com/tryagaintry/2059359

kafka详解 http://www.importnew.com/24973.html

kafka测试分析 http://chuansong.me/n/1202245

springboot实例 http://www.jb51.net/article/123039.htm

常用命令 https://www.cnblogs.com/zzt-lovelinlin/p/6228773.html

zk集群下，搭建kafka集群https://blog.csdn.net/my_bai/article/details/68490632

吊大的写的kafka详解https://blog.csdn.net/suifeng3051/article/details/48053965

kafka搭建和用java端实现接收发布消息

猜你喜欢