kafka集群搭建步骤（亲测可用）

zookeeper集群搭建

第一步：单机模式

下载

wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.1.tar.gz

解压

tar -zxvf zookeeper-3.6.1.tar.gz

#修改conf目录下的zoo_sample.cfg
mv zoo_sample.cfg zoo.cfg （建议复制一份 采用cp指令）

启动（bin目录下）

sh zkServer.sh start

验证是否启动（bin目录下）

sh zkServer.sh status
jps [-vm]
netstat -lntup

连接（bin目录下）

sh zkCli.sh

第二步：集群模式

修改zoo.cfg，在最后一行添加：

server.1=10.xx.xxx.x:2188:2888
server.2=10.xx.xxx.xx:2188:2888

复制server.1所在主机的zookeeper解压包到server.2主机

scp -r apache-zookeeper-3.6.1-bin/ [email protected]:/usr/local/

指定myid服务号

修改zoo.cfg中：
dataDir=/root/zookeeper/zookeeper/conf/data
然后在data目标执行：
echo "1" > myid

另外一台机器也是一样的操作 只不过 myid号变为 “2” 了。

启动，分别在server.1和server.2所在主机的zookeeper的bin目录下启动

sh zkServer.sh start

连接

sh zkCli.sh -server 10.xx.xxx.x:2181,10.xx.xxx.xx:2181

注： 这里搭建的是两个节点的集群，第三个节点可参考第二个，一般集群节点数保持奇数个。

kafka集群搭建与使用

安装前的环境准备
由于Kafka是用Scala语言开发的，运行在JVM上，因此在安装Kafka之前需要先安装JDK。
yum install java-1.8.0-openjdk* -y
kafka依赖zookeeper，所以需要先安装zookeeper，上面已经准备好。

第一步：下载安装包

下载1.1.0 release版本，并解压：
wget https://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz
tar -xzf kafka_2.11-1.0.0.tgz
cd kafka_2.11-1.0.0

第二步：启动服务

现在来启动kafka服务：
启动脚本语法：
kafka-server-start.sh [-daemon] server.properties
可以看到，server.properties的配置路径是一个强制的参数，-daemon表示以后台进程运行，否则ssh客户端退出后，就会停止服务。(注意，在启动kafka时会使用linux主机名关联的ip地址，所以需要把主机名和linux的ip映射配置到本地host里，用vim /etc/hosts)
bin/kafka-server-start.sh -daemon config/server.properties
我们进入zookeeper目录通过zookeeper客户端查看下zookeeper的目录树
bin/zkCli.sh
ls /?#查看zk的根目录kafka相关节点
ls /brokers/ids?#查看kafka节点

第三步：创建主题

现在我们来创建一个名字为“test”的Topic，这个topic只有一个partition，并且备份因子也设置为1：
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
现在我们可以通过以下命令来查看kafka中目前存在的topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
除了我们通过手工的方式创建Topic，我们可以配置broker，当producer发布一个消息某个指定的Topic，但是这个Topic并不存在时，就自动创建。

第四步：发送消息

kafka自带了一个producer命令客户端，可以从本地文件中读取内容，或者我们也可以以命令行中直接输入内容，并将这些内容以消息的形式发送到kafka集群中。在默认情况下，每一个行会被当做成一个独立的消息。
首先我们要运行发布消息的脚本，然后在命令中输入要发送的消息的内容：
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic <topicName>

this is a msg
this is a another msg
注意：发布消息需要指定localhost

第五步：消费消息

对于consumer，kafka同样也携带了一个命令行客户端，会将获取到内容在命令中进行输出：
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic <topicName> --from-beginning #老版本

–from-beginning:consumer从头开始进行消费

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGroup --consumer-property client.id=consumer-1 --topic <topicName> #新版本

如果你是通过不同的终端窗口来运行以上的命令，你将会看到在producer终端输入的内容，很快就会在consumer的终端窗口上显示出来。
以上所有的命令都有一些附加的选项；当我们不携带任何参数运行命令的时候，将会显示出这个命令的详细用法。
还有一些其他命令如下：

查看组名
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list --new-consumer

查看消费者的消费偏移量
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testGroup

消费多主题
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist "test|test-2"

单播消费
一条消息只能被某一个消费者消费的模式，类似queue模式，只需让所有消费者在同一个消费组里即可
分别在两个客户端执行如下消费命令，然后往主题里发送消息，结果只有一个客户端能收到消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGroup --topic test

多播消费
一条消息能被多个消费者消费的模式，类似publish-subscribe模式费，针对Kafka同一条消息只能被同一个消费组下的某一个消费者消费的特性，要实现多播只要保证这些消费者属于不同的消费组即可。我们再增加一个消费者，该消费者属于testGroup-2消费组，结果两个客户端都能收到消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGroup-2 --topic test

第六步：kafka集群配置

到目前为止，我们都是在一个单节点上运行broker，这并没有什么意思。对于kafka来说，一个单独的broker意味着kafka集群中只有一个接点。要想增加kafka集群中的节点数量，只需要多启动几个broker实例即可。为了有更好的理解，现在我们在一台机器上同时启动三个broker实例。
首先，我们需要建立好其他2个broker的配置文件：
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
配置文件的内容分别如下：

config/server-1.properties:
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dir=/tmp/kafka-logs-1
    
config/server-2.properties:
    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dir=/tmp/kafka-logs-2

broker.id属性在kafka集群中必须要是唯一的。我们需要重新指定port和log目录，因为我们是在同一台机器上运行多个实例。如果不进行修改的话，consumer只能获取到一个instance实例的信息，或者是相互之间的数据会被影响。
目前我们已经有一个zookeeper实例和一个broker实例在运行了，现在我们只需要在启动2个broker实例即可：
bin/kafka-server-start.sh -daemon config/server-1.properties
bin/kafka-server-start.sh -daemon config/server-2.properties
现在我们创建一个新的topic，备份因子设置为3：
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
现在我们已经有了集群，并且创建了一个3个备份因子的topic，但是到底是哪一个broker在为这个topic提供服务呢(因为我们只有一个分区，所以肯定同时只有一个broker在处理这个topic)？
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

以下是输出内容的解释，第一行是所有分区的概要信息，之后的每一行表示每一个partition的信息。因为目前我们只有一个partition，因此关于partition的信息只有一行。

1. leader节点负责给定partition的所有读写请求。
2. replicas 表示某个partition在哪几个broker上存在备份。不管这个几点是不是”leader“，甚至这个节点挂了，也会列出。
3. isr 是replicas的一个子集，它只列出当前还存活着的，并且备份了该partition的节点。

现在我们的案例中，0号节点是leader，即使用server.properties启动的那个进程。
我们可以运行相同的命令查看之前创建的名称为”test“的topic
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

之前设置了topic的partition数量为1，备份因子为1，因此显示就如上所示了。
现在我们向新建的topic中发送一些message：
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic

my test msg 1
my test msg 2

现在开始消费：
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

my test msg 1
my test msg 2

现在我们来测试我们容错性，因为broker0目前是leader，所以我们要将其kill
ps -ef | grep server.properties
kill -9 1177
现在再执行命令：
bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

我们可以看到，leader节点已经变成了broker 2.要注意的是，在Isr中，已经没有了0号节点。leader的选举也是从ISR(in-sync replica)中进行的。
此时，我们依然可以 消费新消息：
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

my test msg 1
my test msg 2

查看主题分区对应的leader信息：