Configuración lado broker hay algunos parámetros que deben tenerse en cuenta en todo ambiente Kafka y configuración, si entorno autónomo (independiente) o entorno agrupado (cluster). Estos parámetros son el corredor Kafka configuración básica, asegúrese de aclarar su significado.
Broker parámetros deben fijarse en el extremo de los /config/server.properties de archivos, además, si se desea modificar la configuración, debe reiniciar el corredor de Kafka correspondiente.
broker.id Kafka utiliza un entero único que identifica cada corredor, es decir, proporcionado broker.id. El valor predeterminado es 0 parámetro. Por supuesto, no se puede especificar, Kafka generará automáticamente un valor único. En resumen, no importa lo que especifique debe ser asegurar que el valor es único y no pueden estar en conflicto con otros agentes de la agrupación Kafka.
Recomendado: Utilizar la secuencia numérica empezando desde 0
log.dirs: Kafka guardar la información de directorio, asegúrese de configurar! Si el número de mensajes que desea persistir mucho, mejor asegurarse de que el directorio tiene un espacio en el disco duro de mayor capacidad. Se pueden especificar varios directorios, separados por comas, como / home / kafka1, / home / kafka2. La ventaja de esto es que Kafka se tratará de manera uniforme particiones de almacenamiento (partición) de datos en múltiples directorios.
Si la máquina dispone de discos físicos N (y suponiendo que la máquina se puede utilizar plenamente a Kafka), a continuación, establecer el directorio N (disco montado en diferentes directorios) es una opción buena. Después de todo, las cabezas N puede realizar simultáneamente una operación de escritura, la mejora en gran medida el rendimiento. Nota: Este "uniforme" se basa en la comparación del número de particiones en el directorio, en lugar de la actual espacio de disco duro. También vale la pena mencionar es que, si este parámetro no está configurado, por defecto Kafka / tmp / kafka-logs, esto es, sin duda no lo que quieres, ¿verdad?
Recomendación: en busca de uno o más de espacio en disco duro es relativamente grande directorio
zookeeper.connect: Los parámetros importantes de la mayoría de Kafka, no uno! Si se pueden utilizar los dos primeros parámetros y los valores predeterminados, (aunque los valores predeterminados no son muy adecuados para el entorno de producción), entonces este parámetro es ningún valor predeterminado debe ser configurado. Esto puede ser una lista de CSV de parámetros (valores separados por comas), tal ZK1: 2181, ZK2: 2181, zk3: 2181 / kafka. El final de la nota / kafka, es chroot de un empleado del zoológico, es de configuración opcional, si no se especifica se usará la ruta raíz predeterminada del cuidador del zoológico.
Recomendado: Zookeeper disponibles para asegurar un ambiente o entorno de clúster independiente, y configura el parámetro correspondiente a la información de conexión. Además disponen preferiblemente chroot, puede funcionar así como el efecto de aislamiento. Tal empleado del zoológico en la gestión del directorio será más fácil.
oyentes: los oyentes corredor de la lista CSV, el formato es [Protocolo]: // [nombre de host]: [puerto], [[Protocolo]: // [nombre de host]: [puerto]] ... Si no se especifica un nombre de host, a continuación, unión de la tarjeta de red por defecto, si el nombre de host es 0.0.0.0, indica que se unen todas las tarjetas de red. que comprende además un TEXTO SIMPLE configuración del protocolo común, SSL, SASL_SSL similares. Acerca área de parámetros oyente, recomiendo esta configuración es sólo un parámetro en él, ya que los dos parámetros obsoletos: host.name y el puerto, que no está configurado.
Recomendado: texto llano: // host: puerto (no habilitada la autenticación segura) SSL: // hostname: port (para habilitar la autenticación segura)
advertised.listeners: emitido al productor y el oyente uso del consumidor. Normalmente se utiliza entorno IaaS. Por ejemplo, las máquinas de la nube suelen tener varias tarjetas de red, puede ajustar este parámetro para obligar IP pública para los clientes a usar, y luego configure los oyentes de unión entre un corredor IP privada para el uso de la comunicación. Por supuesto, no se establece este parámetro es posible, pero hay un problema y más clientes no puede obtener los metadatos en una máquina nube porque los oyentes están ligados a la tarjeta por defecto, y la tarjeta suele ser el valor por defecto es de vincular a la red privada IP.
Recomendado: consistente con la configuración oyente
En texto llano: // host: (autenticación segura no está habilitado) puerto SSL: // hostname: port (para habilitar la autenticación segura)
unclean.leader.election.enable: ya sea a elección del líder impuro abierta, que no está sincronizada copia de una copia de la colección (en sincronía réplicas, ISR) es también ser elegido como líder. Está activado por defecto, por lo que es posible que se pierdan datos, lo mejor es cerrarla.
Recomendado: false - Cerrar elección del líder impuro, de hecho, la comunidad ha sido recientemente teniendo en cuenta el valor predeterminado para este parámetro es falso ajuste
delete.topic.enable: si se permite la eliminación tema
Recomendado: verdadero - entonces será conveniente abrir un poco, después de todo, se puede eliminar el tema en cualquier momento
log.retention {hora | minutos | ms} :. Cuando el registro retenido mucho tiempo. Este es un "tres hermanos", si ambas configuraciones, seleccione el ms de configuración de prioridad, minutos seguidos, hora terminan. Se eliminará por defecto Kafka guardar siete días de datos, datos que son siete días antes. mensaje basado en la prioridad actualmente Kafka marcas de tiempo para ser juzgado, si no se especifica una marca de tiempo se comparará según la última fecha de modificación del archivo de registro. Se trata de un registro de políticas de retención basadas en el tiempo de un conjunto de parámetros.
Recomendado: configurar de acuerdo a sus necesidades de negocio
log.retention.bytes: Este es un parámetro de política de retención de registro en función del tamaño del archivo. Kafka eliminará los tamaño del archivo de registro supera el valor del parámetro de forma regular. El valor predeterminado es -1, lo que significa Kafka nunca logs de eliminación basados en el tamaño.
Recomendado: configurar de acuerdo a sus necesidades de negocio
min.insync.replicas: parámetros utilizados con el lado acks productor. Sólo tiene sentido si acks = todos (o -1). Se especifica el número mínimo de ejemplares que debe contestar solicitud por escrito. Si no se puede satisfacer, productor o NotEnoughReplicasAfterAppend NotEnoughReplicas lanzará una excepción. Este parámetro se utiliza para lograr una mejor persistencia de mensajes.
Recomendación: Si acks conjunto se convirtió en todo, entonces este parámetro es el mejor intervalo de valores [1, replication.factor).
num.network.threads: solo broker Kafka crea un número de hilos de manipulación solicitudes de red, el valor predeterminado es 3
Recomendadas: monitoreo entorno de producción NetworkProcessorAvgIdlePercent indicadores, si es inferior a 0,3, es necesario aumentar este valor.
num.io.threads: agente individual Kafka creados para responder a la petición de la red el número de hilos, el valor predeterminado es 8.
Recomendado: entorno de producción RequestHandlerAvgIdlePercent indicadores de seguimiento, si es inferior a 0,3, es necesario aumentar este valor.
