Tabla de contenido
Instrucciones de configuración
Instrucciones de configuración
Todos los parámetros de configuración de Flink se pueden configurar en el lado del cliente. Se recomienda que los usuarios modifiquen directamente el archivo de configuración del cliente flink-conf.yaml para la configuración:
- Ruta del archivo de configuración: flink/conf/flink-conf.yaml.
- El formato de configuración del archivo es clave: valor .
Ejemplo: taskmanager.heap.size: 1024mb
Tenga en cuenta que debe haber un espacio entre la clave del elemento de configuración: y el valor .
Detalles de configuración :
• JobManager y TaskManager:
JobManager y TaskManager son los componentes principales de Flink y se dirigen a varios escenarios de seguridad y escenarios de rendimiento.
Los elementos de configuración incluyen puertos de comunicación, administración de memoria, reintentos de conexión, etc.
• Servidor de blobs:
el servidor de blobs en el nodo JobManager se usa para recibir el paquete Jar cargado por el usuario en el cliente, o enviar el paquete Jar al TaskManager, transferir archivos de registro, etc.
Los elementos de configuración incluyen puerto, SSL, número de reintentos, simultaneidad, etc.
• Coordinación distribuida (a través de Akka):
la comunicación entre el cliente Flink y JobManager, la comunicación entre JobManager y TaskManager, y la comunicación entre TaskManager y TaskManager se basan todas en el modelo de actor Akka, y los parámetros relacionados se pueden configurado de acuerdo con el entorno de red o la estrategia de ajuste.
Los elementos de configuración incluyen ajustes de tiempo de espera para el envío y espera de mensajes, mecanismo de monitoreo akka Deathwatch, etc.
• SSL:
cuando necesite configurar un clúster Flink seguro, debe configurar los elementos de configuración relacionados con SSL.
Los elementos de configuración incluyen conmutador SSL, certificado, contraseña, algoritmo de cifrado, etc.
• Comunicación de red (a través de Netty):
cuando Flink ejecuta un trabajo, la transmisión de datos entre tareas y la detección de contrapresión dependen de Netty. En algunos entornos, es posible que sea necesario configurar los parámetros de Netty. Para ajustes avanzados, se pueden ajustar algunos elementos de configuración de Netty y la configuración predeterminada puede cumplir con las tareas simultáneas de alto rendimiento de los clústeres a gran escala.
• JobManager Web Frontend:
cuando se inicia JobManager, iniciará el servidor web en el mismo proceso. Al acceder al servidor web, puede obtener información sobre el clúster de Flink actual, incluidos JobManager, TaskManager y los trabajos que se ejecutan en el clúster.
Los elementos de configuración de los parámetros del servidor web incluyen puerto, directorio temporal, elementos de visualización, redirección de errores, relacionados con la seguridad, etc.
• Sistemas de archivos:
el archivo de resultados se creará durante la ejecución de la tarea, lo que admite la configuración del comportamiento de creación de archivos.
Los elementos de configuración incluyen política de sobrescritura de archivos, creación de directorios, etc.
• State Backend:
Flink proporciona alta disponibilidad y recuperación anómala de trabajos, y proporciona suspensión y recuperación de trabajos durante las actualizaciones de versión. Para el almacenamiento del estado del trabajo, Flink se basa en el backend de estado, y el reinicio del trabajo depende de la estrategia de reinicio. Los usuarios pueden configurar estas dos partes.
Los elementos de configuración incluyen el tipo de backend de estado, la ruta de almacenamiento, la estrategia de reinicio, etc.
• Seguridad basada en Kerberos:
los elementos de configuración relacionados con Kerberos deben configurarse en modo de seguridad Flink.
Los elementos de configuración incluyen keytab de kerberos, principal, etc.
• HA:
el modo HA de Flink depende de ZooKeeper, por lo que se deben configurar las configuraciones relacionadas con ZooKeeper.
Los elementos de configuración incluyen la dirección de ZooKeeper, la ruta, la autenticación de seguridad, etc.
• Entorno:
para escenarios con requisitos específicos para la configuración de JVM, puede pasar parámetros de JVM al cliente, JobManager, TaskManager, etc. a través de elementos de configuración.
• Yarn:
cuando Flink se ejecuta en el clúster de Yarn, JobManager se ejecuta en Application Master. Algunos parámetros de configuración de JobManager dependen de Yarn. Al establecer configuraciones relacionadas con YARN, Flink puede funcionar mejor en Yarn.
Los elementos de configuración incluyen la memoria del contenedor de hilo, el kernel virtual, el puerto, etc.
• Canalización:
para cumplir con el requisito de reducir la latencia en algunos escenarios, se diseñan varios trabajos para transferir datos a través de la conexión directa de Netty, es decir, NettySink se usa para el lado del servidor y NettySource se usa para el lado del cliente para la transmisión de datos. .
Los elementos de configuración incluyen la ruta de almacenamiento de información de NettySink, el rango de monitoreo de puertos de NettySink, si la conexión está encriptada por SSL y el dominio de la red utilizada por NettySink para monitorear, etc.