El funcionamiento básico de la instalación y kafka

La instalación de un kafka
1 Glosario:

Tema (temas) clasificación de mensajes, para marcar marcado mensaje
generado Productor (productor) transmite el mensaje
del Consumidor (consumidor) recibe el mensaje utilizando el
Consumidor Consumer Group especifica para cada grupo perteneciente a cada una Consumidor Grupo de Consumo específico (puede ser nombre, si el nombre de grupo especificado en el grupo predeterminado)
Broker (ejemplo kafak) cada nodo es kafka Broker
partición (partición de la partición es un concepto físico, cada uno o más Tema partición que contiene es para mejorar el rendimiento kafka
una copia de la partición de réplica y partición de protección de alta disponibilidad de
un papel de réplica líder, productor y consumidor de interactuar sólo con el líder
, copiar los datos de la líder de la réplica de seguidor de un carácter
controlador de Kafka uno de los servidores de la agrupación, que se utiliza para la elección del líder conmutación por error y diversos
modos de 2 kafka
de tracción (1) el modo ad hoc (uno, activo consumidor de datos pull, el mensaje recibido mensaje se borra) modo de toma de

Modelo es típicamente un punto a otro modelo de mensajería basado en el sondeo o tirado, este modelo solicitud de información de la cola, el mensaje no es empujado al cliente. Las características del modelo se envían a la cola de mensajes, y un solo receptor es un proceso de recepción, incluso si una pluralidad de mensaje oyentes es cierto.

(2) de publicación / suscripción modelo (después de la producción de muchos, los datos, empujó a todos los abonados) es el modo de inserción

Publicación y suscripción mensajería modelo es un modelo basado en el empuje. Publicación y suscripción modelo puede tener una variedad de diferentes abonados, los abonados temporales sólo reciben mensajes sólo cuando el tema oyente activo, todos los mensajes y suscriptores duraderos están escuchando un tema, incluso si el abonado actual no está disponible sin conexión.

3 Instalación kafka
1. Descargar

Apache kafka oficial: http: //kafka.apache.org/downloads.html

Scala 2.11 - kafka_2.11-0.10.2.0.tgz (asc, MD5)

Nota: Cuando se utiliza un 2,11 Scala que Kafka se selecciona kafka_2.11-0.10.2 0.10.2 versión de Kafka.

instalación del clúster Kafka:

Instalar configuración JDK y JAVA_HOME
instalar Zookeeper

Zookeeper referencia a la página web oficial para construir una ZK clúster, ZK e iniciar el clúster.
Kafka extraer el paquete de instalación

   [ambow@hadoopNode1 ambow]$ tar  -zxvf  kafka_2.11-0.10.2.1.tgz   -C  ~/app/

4. Variables configurar el entorno

export KAFKA_HOME=/home/ambow/app/kafka_2.11-0.10.2.1

export PATH=$PATH:$KAFKA_HOME/bin

Modificar el fichero de configuración config / los server.properties
vi las server.properties

  #为依次增长的：0、1、2、3、4，集群中节点唯一id 
    broker.id=0    
     						
    #删除主题的配置，默认是false   生产环境设为false
    delete.topic.enable=true
    
    #监听的主机及端口号    各节点改为本机相应的hostName
    listeners=PLAINTEXT://hadoopNode1:9092   
    
    
    #Kafka的消息数据存储路径  
    log.dirs=/home/ambow/kafkaData/logs   
    
    #创建主题的时候，默认有1个分区
    num.partitions=3  
    
    #指定ZooKeeper集群列表，各节点以逗号分
    zookeeper.connect=hadoopNode1:2181,hadoopNode2:2181,hadoopNode3:2181,hadoopNode4:2181,hadoopNode5:2181

6. distribuido a cada nodo

[ambow@hadoopNode1 app]$ scp -r   kafka_2.11-0.10.2.1     ambow@hadoopNode5:~/app
[ambow@hadoopNode1 app]$ scp -r   kafka_2.11-0.10.2.1     ambow@hadoopNode4:~/app
[ambow@hadoopNode1 app]$ scp -r   kafka_2.11-0.10.2.1     ambow@hadoopNode3:~/app
[ambow@hadoopNode1 app]$ scp -r   kafka_2.11-0.10.2.1     ambow@hadoopNode2:~/app



[ambow@hadoopNode1 app]$ scp -r   ~/.bash_profile     ambow@hadoopNode5:~
[ambow@hadoopNode1 app]$ scp -r   ~/.bash_profile     ambow@hadoopNode4:~
[ambow@hadoopNode1 app]$ scp -r   ~/.bash_profile     ambow@hadoopNode3:~
[ambow@hadoopNode1 app]$ scp -r   ~/.bash_profile     ambow@hadoopNode2:~


source   ~/.bash_profile

7. modificar el archivo de configuración de cada nodo:

#为依次增长的：0、1、2、3、4，集群中节点唯一id 
broker.id=0  

# 监听的主机及端口号    各节点改为本机相应的hostName
listeners=PLAINTEXT://hadoopNode1:9092

8. El servicio de inicio Kafka en cada nodo de la tabla

[ambow@hadoopNode1 app]$ kafka-server-start.sh  $KAFKA_HOME/config/server.properties  &

Nota: cada nodo debe comenzar primero Zookeeper

inicio zkServlet.sh

[ambow@hadoopNode1 app]$ kafka-server-stop.sh

Prueba 9.:

1) Crear un nombre Tema: Prueba Asunto de

#语法:
kafka-topics.sh --create --zookeeper 指定zookeeper集群节点用逗号分隔 --replication-factor 指定副本数  --partitions 指定分区数 --topic 指定主题名      

[ambow@hadoopNode1 app]$ kafka-topics.sh --create --zookeeper hadoopNode1:2181,hadoopNode2:2181,hadoopNode3:2181,hadoopNode4:2181,hadoopNode5:2181 --replication-factor 3 --partitions 1 --topic test    




 kafka-topics.sh --create --zookeeper HadoopNode1:2181,HadoopNode2:2181,HadoopNode3:2181 --replication-factor 3 --partitions 1 --topic love    
 
 
  kafka-topics.sh --create --zookeeper hpNode1:2181 --replication-factor 2 --partitions 3 --topic it

Nota: la replicación del factor igual al número de copias debe ser menor que el número de nodos

 如果只有一个副本，就会存在某一个节点上

 果设置两个副本，就会存在某两个节点上

kafka defecto, el almacenamiento de los consumidores 7 días

#删除指定的test主题
[ambow@hadoopNode1 app]$ kafka-topics.sh --delete --zookeeper hadoopNode1:2181,hadoopNode2:2181,hadoopNode3:2181,hadoopNode4:2181,hadoopNode5:2181   --topic test

2) enumera la lista de temas ha sido creado

#查看所有的主题:
[ambow@hadoopNode1 app]$ kafka-topics.sh --list --zookeeper localhost:2181

[ambow@hadoopNode1 app]$ kafka-topics.sh --list --zookeeper localhost:2181

3) para ver detalles de Tema

#查看指定主题的详细信息
[ambow@hadoopNode1 app]$ kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

4) productor analógico envía un mensaje de los mensajes publicados en el tema especificado

Abrir otro terminal para llevar a cabo:

[ambow@hadoopNode1 app]$ kafka-console-producer.sh --broker-list hadoopNode1:9092,hadoopNode2:9092,hadoopNode3:9092,hadoopNode4:9092,hadoopNode5:9092 --topic test



 kafka-console-producer.sh --broker-list HadoopNode1:9092,HadoopNode2:9092,HadoopNode3:9092 --topic test

Nota: [Ambow @ hadoopNode1 aplicación] $ kafka-console-producer.sh --broker-list (un nodo puede ser generalmente presente con una pluralidad de nodos para evitar derribo) prueba --topic

5) Los consumidores:

Mensaje a suplantar al cliente para aceptar el mensaje especificado temas del consumidor

Abrir otro terminal para llevar a cabo:

[ambow@hadoopNode1 app]$ kafka-console-consumer.sh --bootstrap-server hadoopNode1:9092,hadoopNode2:9092,hadoopNode3:9092,hadoopNode4:9092,hadoopNode5:9092 --from-beginning --topic test

#定阅
kafka-console-consumer.sh --bootstrap-server HadoopNode1:9092,HadoopNode2:9092,HadoopNode3:9092 --from-beginning --topic test

No hice la tierra

Publicados 133 artículos originales · ganado elogios 53 · Vistas a 20000 +

carta privada preocupaciones

El funcionamiento básico de la instalación y kafka

Supongo que te gusta