Parámetros de productores
1, buffer.memory:
se utiliza para establecer el tamaño de la memoria intermedia del productor, el productor con ese mensaje tampón para ser enviados al servidor. Si la velocidad de la aplicación envía un mensaje enviado al servidor excede la velocidad dará lugar a los productores la falta de espacio. Esta vez, send () llamada al método es bloqueado o una excepción, en función de cómo block.on.buffer los parámetros
2, compression.type:
por defecto, no será comprimida cuando se envía el mensaje. Este parámetro puede ser conjunto rápido, gzip o LZ4, que especifica el algoritmo de compresión antes de ser enviado a la compresión intermediario de mensajes. algoritmo de compresión ssnappy por Google invención, que consume menos CPU, pero puede proporcionar un mejor rendimiento y una considerable relación de compresión, si más preocupado por el rendimiento y ancho de banda de red, puede utilizar este algoritmo. algoritmos de compresión gzip generalmente ocupan más de la CPU, pero ofrece una mayor relación de compresión, por lo que si el ancho de banda es limitado, puede utilizar este algoritmo. Uso La compresión puede reducir la transmisión de sobrecarga de la red y los gastos generales de almacenamiento, que a menudo se envían mensajes al cuello de botella Kafka
3, reintentos:
errores de productores recibidas desde el servidor podría ser un error temporal, en este caso, el valor de reintentos parámetro determina el número de productores puede reenviar el mensaje, se alcanza este número, los productores darán hasta pesada prueba y devuelve un error
4, batch.size:
cuando hay múltiples mensajes deben ser enviados a la misma partición, un productor se llevará a ellos en el mismo lote, el lote Este parámetro especifica el tamaño de la memoria se puede utilizar, de acuerdo con el número de bytes cálculo.
5, linger.ms:
Este parámetro especifica el productor que esperar antes de enviar lotes de mensajes adicionales tiempo de adición por lotes.
6, client.id:
Este parámetro puede ser cualquier cadena, el servidor utilizará para identificar la fuente del mensaje, y también puede ser utilizado en el registro de la cuota
7, max.in.flight.requests.per.connection:
Este parámetro especifica el productor puede enviar antes de recibir al servidor cómo muchos mensajes deben mediodía
8, timeout.ms, request.timeout.ms y metadata.fetch.timeout.ms:
request.timeout.ms productores especifica el tiempo para esperar a que el servidor de transmisión de datos para devolver una respuesta, la producción metadata.fetch.timeout.ms especificada los que esperan en el servidor para devolver un tiempo de respuesta en la adquisición de metadatos (por ejemplo, quién es el jefe de partición de destino). Si un tiempo de espera a la espera de una respuesta, entonces el productor ya sea de reintento de envío de datos, o devuelve un error (se produce una excepción o de devolución de llamada). timeout.ms designados corredor que esperar a que una copia sincronizada del mensaje de respuesta confirmando el tiempo, y le pregunta si la configuración coincide con el once copia sincronizada del acuse de recibo no se recibe dentro del tiempo especificado, entonces el agente devolverá un error
9, max.block.ms:
Este parámetro especifica el tiempo de bloqueo de metadatos adquirido Enviar call () método o partitionsFor () productor método
10, max.request.size: Este parámetro controla el tamaño de la solicitud enviada por el productor, pueden referirse a un máximo para un solo mensaje puede ser transmitida, que puede referirse a un único mensaje de solicitud a todos el tamaño total
11, receive.buffer.bytes y send.buffer.bytes: Estos dos parámetros especifican el tamaño del búfer de socket TCP para recibir y enviar paquetes de datos, si se establece en -1, el valor por defecto del sistema operativo
parámetro del consumidor
1, fetch.min.bytes:
Este atributo especifica el número de consumidores para obtener los registros mínimos de bytes desde el servidor
2, fetch.max.wait.ms:
Nos dijeron fetch.min.byte Kafka, espera hasta que haya datos suficientes cuando se devuelve al consumidor.
El fetch.max.wait.ms el tiempo de espera para el agente designado
3, max.partition.fetch.bytes:
El valor predeterminado es 1 MB, este atributo especifica el número máximo de bytes de volver de cada partición de servidor a los consumidores.
4, session.timeout.ms: 3s por defecto, este atributo especifica los consumidores antes de la muerte puede ser considerada desconectado del servidor
5, auto.offset.reset:
Este atributo especifica la inválido lectura de un consumidor sin el caso partición offset o desplazamiento (debido a un fallo del consumidor desde hace mucho tiempo, la grabación que incluye el pozo vecino no está actualizado Suprimido) donde el trabajo
6, enable.auto.commit:
Esta propiedad especifica si se debe enviar de forma automática valor predeterminado de desplazamiento de los consumidores es cierto.
7, partition.assignment.strategy:
partición para el grupo de consumidores política de asignación, tiene las dos estrategias siguientes:
- Rango: varios partición consecutiva asignará la política con el tema de los consumidores
- RoundRobin: la política a todos particiones asignadas temática individual para el consumidor
8, client.id:
Este atributo puede ser cualquier cadena, Broker lo utilizan para identificar el mensaje enviado desde el cliente a través de, utilizado normalmente en el registro, y las cuotas en las métricas.
9, max.poll.records:
Este atributo se utiliza para controlar una sola llamada al método call () para devolver el número de registros que pueden ayudar a controlar la cantidad de datos requeridos en el proceso de votación.
10, receive.buffer.bytes y send.buffer.bytes:
Socket TCP utiliza en la lectura de datos y la escritura tampón puede ser proporcionada tamaño. Si se ajustan a -1, el valor por defecto del sistema operativo. Si el productor o consumidor y el corredor está en un centro de datos diferente, estos valores se puede aumentar apropiadamente, debido a que la red a través de los centros de datos en general, tienen una relativamente alta latencia y ancho de banda bajo.
