Kafka es un sistema de mensajería distribuido, particionable y replicable. Proporciona las funciones de un sistema de mensajería ordinario, pero tiene su propio diseño único. ¿Cómo se ve este diseño único?
Introduccion
Kafka es un sistema de mensajería distribuido, particionable y replicable. Proporciona las funciones de un sistema de mensajería ordinario, pero tiene su propio diseño único. ¿Cómo se ve este diseño único?
Primero echemos un vistazo a algunos términos básicos del sistema de mensajería:
• Kafka resume los mensajes en unidades temáticas.
• Tema del programa de Kafka será la difusión de los productores de información.
• El programa de temas de libros y la información al consumidor para convertirse Consumidor.
• Kafka ejecutarse en un clúster, puede constar de uno o más servicios, cada uno es llamado un corredor.
Los productores de La red envía mensajes al clúster Kafka, y el clúster proporciona mensajes a los consumidores, como se muestra en la siguiente figura:
El cliente y el servidor se comunican a través del protocolo TCP. Kafka proporciona un cliente Java y admite varios idiomas.
Descripción:
Sistema operativo: CentOS 6.x 64 bits
Edición Kafka: kafka_2.11-0.8.2.1
Para lograr el objetivo:
Instalación y configuración de máquinas individuales kafka
Operación específica:
1. Apague el firewall
Cerrar: el servicio iptables deja de
deshabilitar: chkconfig iptables desactivado
En segundo lugar, instale el JDK
La operación de Kadka requiere soporte de JDK
1. Descargar JDK
http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm
Nota: Copie directamente a la herramienta de descarga para descargar. Utilice JDK7 para la versión. JDK8 puede no ser compatible con kafka_2.11-0.8.2.1
Una vez completada la descarga, cárguela en el directorio / usr / local / src
2. Instalar JDK
cd / usr / local / src
chmod + x jdk-7u79-linux-x64.rpm # agregar permiso de ejecución
rpm -ivh jdk-7u79-linux-x64.rpm #install
Una vez completada la instalación, puede cd / usr / java / al directorio de instalación para ver
3. Agregue JDK a las variables de entorno del sistema
vi / etc / profile #Edit, agregue el siguiente código al final
JAVA_HOME = / usr / java / jdk1.7.0_79
PATH = $ PATH: $ JAVA_HOME / bin: / usr / bin: / usr / sbin: / bin: / sbin: / usr / X11R6 / bin
CLASSPATH =.: $ JAVA_HOME / lib / tools.jar: $ JAVA_HOME / lib / dt.jar
exportar JAVA_HOME
RUTA de exportación
exportar CLASSPATH
: wq! #Guardar y salir
source / etc / profile # hacer que el archivo de configuración entre en vigencia inmediatamente
Java -version #Ver información de la versión JDK
En este punto, la instalación de JDK está completa.
Tres, instale kafka
1. Descargar kafka
cd / usr / local / src
wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
Tenga en cuenta que la versión de kafka_2.11-0.8.2.1.tgz es una versión compilada y puede usarse después de la descompresión.
tar -xzvf kafka_2.11-0.8.2.1.tgz #decompress
mv kafka_2.11-0.8.2.1 / usr / local / kafka #Move al directorio de instalación
2, arreglo kafka
mkdir / usr / local / kafka / log / kafka # Crear directorio de registro kafka
cd / usr / local / kafka / config #Introduzca el directorio de configuración
vi server.properties #Editar y modificar los parámetros correspondientes
broker.id = 0
puerto = 9092 # número de puerto
host.name = 192.168.5.56 # Dirección IP del servidor, cambie a la IP de su propio servidor
log.dirs = / usr / local / kafka / log / kafka # Ruta de almacenamiento de registro, el directorio creado anteriormente
zookeeper.connect = localhost: 2181 # dirección y puerto #zookeeper, implementación de configuración independiente, localhost: 2181
: wq! #Guardar y salir
3. Configurar zookeeper
mkdir / usr / local / kafka / zookeeper #create zookeeper directory
mkdir / usr / local / kafka / log / zookeeper #create directorio de registro de zookeeper
cd / usr / local / kafka / config #Introduzca el directorio de configuración
vi zookeeper.properties #Editar y modificar los parámetros correspondientes
dataDir = / usr / local / kafka / zookeeper #zookeeper directorio de datos
dataLogDir = / usr / local / kafka / log / zookeeper #zookeeper log directory
clientPort = 2181
maxClientCnxns = 100
tickTime = 2000
initLimit = 10
syncLimit = 5
: wq! #Guardar y salir
Cuatro, crea un script kafka de inicio y apagado
cd / usr / local / kafka
# Crear script de inicio
vi kafkastart.sh #Edit, agregue el siguiente código
#! / bin / sh
#Iniciar cuidador del zoológico
/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &
dormir 3 #Esperar después de 3 segundos
#Iniciar kafka
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
: wq! #Guardar y salir
# Crear guión cerrado
vi kafkastop.sh #Edit, agregue el siguiente código
#! / bin / sh
#Cerrar cuidador del zoológico
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &
dormir 3 #Esperar después de 3 segundos
#Cerrar kafka
/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &
: wq! #Guardar y salir
# Agregar permiso de ejecución de script
chmod + x kafkastart.sh
chmod + x kafkastop.sh
Cinco, configure el script para que se ejecute automáticamente al inicio
vi /etc/rc.d/rc.local #Edit, agregue una línea al final
sh /usr/local/kafka/kafkastart.sh & # Configura el script para que se ejecute automáticamente en segundo plano en el arranque
: wq! #Guardar y salir
sh /usr/local/kafka/kafkastart.sh #Start kafka
sh /usr/local/kafka/kafkastop.sh #Cerrar kafka
En este punto, la instalación y configuración independiente de Kafka en Linux se ha completado.
Kafka es un sistema de mensajería distribuido, particionable y replicable. Proporciona las funciones de un sistema de mensajería ordinario, pero tiene su propio diseño único. ¿Cómo se ve este diseño único?
Introduccion
Kafka es un sistema de mensajería distribuido, particionable y replicable. Proporciona las funciones de un sistema de mensajería ordinario, pero tiene su propio diseño único. ¿Cómo se ve este diseño único?
Primero echemos un vistazo a algunos términos básicos del sistema de mensajería:
• Kafka resume los mensajes en unidades temáticas.
• Tema del programa de Kafka será la difusión de los productores de información.
• El programa de temas de libros y la información al consumidor para convertirse Consumidor.
• Kafka ejecutarse en un clúster, puede constar de uno o más servicios, cada uno es llamado un corredor.
Los productores de La red envía mensajes al clúster Kafka, y el clúster proporciona mensajes a los consumidores, como se muestra en la siguiente figura:
El cliente y el servidor se comunican a través del protocolo TCP. Kafka proporciona un cliente Java y admite varios idiomas.
Descripción:
Sistema operativo: CentOS 6.x 64 bits
Edición Kafka: kafka_2.11-0.8.2.1
Para lograr el objetivo:
Instalación y configuración de máquinas individuales kafka
Operación específica:
1. Apague el firewall
Cerrar: el servicio iptables deja de
deshabilitar: chkconfig iptables desactivado
En segundo lugar, instale el JDK
La operación de Kadka requiere soporte de JDK
1. Descargar JDK
http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm
Nota: Copie directamente a la herramienta de descarga para descargar. Utilice JDK7 para la versión. JDK8 puede no ser compatible con kafka_2.11-0.8.2.1
Una vez completada la descarga, cárguela en el directorio / usr / local / src
2. Instalar JDK
cd / usr / local / src
chmod + x jdk-7u79-linux-x64.rpm # agregar permiso de ejecución
rpm -ivh jdk-7u79-linux-x64.rpm #install
Una vez completada la instalación, puede cd / usr / java / al directorio de instalación para ver
3. Agregue JDK a las variables de entorno del sistema
vi / etc / profile #Edit, agregue el siguiente código al final
JAVA_HOME = / usr / java / jdk1.7.0_79
PATH = $ PATH: $ JAVA_HOME / bin: / usr / bin: / usr / sbin: / bin: / sbin: / usr / X11R6 / bin
CLASSPATH =.: $ JAVA_HOME / lib / tools.jar: $ JAVA_HOME / lib / dt.jar
exportar JAVA_HOME
RUTA de exportación
exportar CLASSPATH
: wq! #Guardar y salir
source / etc / profile # hacer que el archivo de configuración entre en vigencia inmediatamente
Java -version #Ver información de la versión JDK
En este punto, la instalación de JDK está completa.
Tres, instale kafka
1. Descargar kafka
cd / usr / local / src
wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
Tenga en cuenta que la versión de kafka_2.11-0.8.2.1.tgz es una versión compilada y puede usarse después de la descompresión.
tar -xzvf kafka_2.11-0.8.2.1.tgz #decompress
mv kafka_2.11-0.8.2.1 / usr / local / kafka #Move al directorio de instalación
2, arreglo kafka
mkdir / usr / local / kafka / log / kafka # Crear directorio de registro kafka
cd / usr / local / kafka / config #Introduzca el directorio de configuración
vi server.properties #Editar y modificar los parámetros correspondientes
broker.id = 0
puerto = 9092 # número de puerto
host.name = 192.168.5.56 # Dirección IP del servidor, cambie a la IP de su propio servidor
log.dirs = / usr / local / kafka / log / kafka # Ruta de almacenamiento de registro, el directorio creado anteriormente
zookeeper.connect = localhost: 2181 # dirección y puerto #zookeeper, implementación de configuración independiente, localhost: 2181
: wq! #Guardar y salir
3. Configurar zookeeper
mkdir / usr / local / kafka / zookeeper #create zookeeper directory
mkdir / usr / local / kafka / log / zookeeper #create directorio de registro de zookeeper
cd / usr / local / kafka / config #Introduzca el directorio de configuración
vi zookeeper.properties #Editar y modificar los parámetros correspondientes
dataDir = / usr / local / kafka / zookeeper #zookeeper directorio de datos
dataLogDir = / usr / local / kafka / log / zookeeper #zookeeper log directory
clientPort = 2181
maxClientCnxns = 100
tickTime = 2000
initLimit = 10
syncLimit = 5
: wq! #Guardar y salir
Cuatro, crea un script kafka de inicio y apagado
cd / usr / local / kafka
# Crear script de inicio
vi kafkastart.sh #Edit, agregue el siguiente código
#! / bin / sh
#Iniciar cuidador del zoológico
/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &
dormir 3 #Esperar después de 3 segundos
#Iniciar kafka
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
: wq! #Guardar y salir
# Crear guión cerrado
vi kafkastop.sh #Edit, agregue el siguiente código
#! / bin / sh
#Cerrar cuidador del zoológico
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &
dormir 3 #Esperar después de 3 segundos
#Cerrar kafka
/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &
: wq! #Guardar y salir
# Agregar permiso de ejecución de script
chmod + x kafkastart.sh
chmod + x kafkastop.sh
Cinco, configure el script para que se ejecute automáticamente al inicio
vi /etc/rc.d/rc.local #Edit, agregue una línea al final
sh /usr/local/kafka/kafkastart.sh & # Configura el script para que se ejecute automáticamente en segundo plano en el arranque
: wq! #Guardar y salir
sh /usr/local/kafka/kafkastart.sh #Start kafka
sh /usr/local/kafka/kafkastop.sh #Cerrar kafka
En este punto, la instalación y configuración independiente de Kafka en Linux se ha completado.