Este artículo presentará cómo conectar la informática en tiempo real Flink con otros sistemas. La introducción consta de cuatro partes, a saber:
1. Almacenamiento y uso de Jar;
2. Cálculo en tiempo real de cómo Flink interactúa con algunas fuentes de datos típicas;
3. Cómo ingresar indicadores Flink en la plataforma VVP en el sistema externo de Métricas;
4. Cómo importar los registros de trabajos de Flink que se ejecutan en la plataforma VVP al sistema externo.
1. Cómo almacenar el Jar ejecutando el trabajo en OSS
Hay dos formas de cargar el archivo jar de trabajo en la plataforma VVP.
Método 1 : Con la ayuda de la función de carga de recursos proporcionada por VVP, puede usar esta función directamente para cargar Jar. Actualmente, esta función admite la carga de paquetes Jar dentro de 200 megabytes. Cuando lo use, simplemente seleccione el paquete jar cargado al crear el trabajo. La demostración es la siguiente:
- Ingrese a la plataforma VVP, haga clic en la función de carga de recursos a la izquierda y luego haga clic en el recurso de carga en la esquina superior derecha de la página abierta, seleccione el paquete Jar para cargar y complete la carga;
- Una vez que la carga se haya realizado correctamente, haga clic en Crear trabajo a la izquierda para completar el nombre del trabajo y otra información. En la columna Jar URI, desplácese hacia abajo y seleccione el paquete Jar que acaba de cargar, haga clic en Aceptar para completar el trabajo de creación y luego inícielo para usarlo.
Método dos , cargue el Jar para usarlo directamente en la consola de OSS y luego use el enlace Jar provisto por OSS. También es relativamente sencillo de usar, utilice directamente el enlace Jar proporcionado por OSS. La demostración es la siguiente:
- Abra la consola OSS, seleccione el depósito utilizado al crear el VVP, luego seleccione el directorio y haga clic en Cargar archivo. Al cargar, puede establecer su permiso para lectura pública y hacer clic en Cargar archivo para completar;
- Al usarlo, haga clic en "Detalles" en el lado derecho del paquete cargado en la consola OSS para obtener el enlace URL del paquete Jar.
- Al crear un trabajo, complete el URI Jar con la URL del paquete jar, como se muestra en la siguiente figura:
Cabe señalar que el vínculo proporcionado en la página de detalles de OSS es para el acceso a la red pública y el VVP abierto no puede acceder directamente a la red pública. Por lo tanto, al crear un trabajo mediante HTTPS, debe usar el punto final al que accede la VPC para iniciar el trabajo normalmente.
¿Qué sucede si quiero obtener un enlace HTTPS de la red pública? El VVP se puede conectar primero a la red pública. Para el proceso de operación de la conexión, consulte "Cómo Flink Fully Managed Cluster accede a la red pública" en el documento de ayuda de Alibaba Cloud. Los pasos simples son los siguientes:
- Primero, cree una puerta de enlace NAT. Al crear, seleccione "ERP de compra combinada", luego seleccione la región y agregue el nombre y otra información, y luego vincule la IP de la red pública elástica para completar la creación;
- En segundo lugar, cree una entrada SNAT. Después de crear el NAT, haga clic en "Crear entrada SNAT", seleccione el interruptor en la ventana emergente y agregue la información del nombre para completar la creación.
Después de completar los dos pasos anteriores, la instancia de VVP se ha conectado a la red pública y puede usar directamente el paquete jar accesible en la red pública https al crear la implementación.
2. ¿Cómo interactúa Flink con las fuentes de datos típicas en la plataforma VVP?
Esta parte presenta cómo interactuar con algunos sistemas de almacenamiento de datos externos a través de SQL y conectores, tomando SLS y Kafka como fuentes de datos para leer y escribir datos como ejemplos.
(Demostración práctica) Haga clic en el editor de SQL para crear una tabla Datagen, que se utiliza para generar datos de forma aleatoria, y luego haga clic en Ejecutar. Luego haga clic para generar una tabla SLS, agregue la información de parámetro requerida y haga clic en Crear para completar.
Una vez completada la creación, escriba declaraciones SQL, como insertar en sls select id, name from datagen, y luego guárdelo y haga clic en Ejecutar para crear la implementación e iniciarla.
Cuando el trabajo se ejecute correctamente, consulte los datos en SLS. Como se muestra en la figura siguiente, datagen ha generado datos y se ha escrito correctamente en SLS.
Del mismo modo, podemos seguir los pasos anteriores para leer datos de SLS y luego escribir en Kafka:
- Cree una tabla de Kafka en la página del editor sql de vvp
- Utilice la sintaxis SQL para leer datos de SLS y escribirlos en Kafka e iniciarlo
- Una vez que el trabajo se ejecuta correctamente, comienza a leer datos de SLS y escribirlos en Kafka
3. Cómo integrar los indicadores de Flink en la plataforma VVP en el sistema de métricas externo
A continuación, si desea colocar los indicadores de trabajos en ejecución en algunos sistemas y realizar observaciones de indicadores. VVP proporciona dos métodos:
Método 1 : VVP ingresará los indicadores de trabajo de Flink en los brazos de forma predeterminada. No se requiere procesamiento adicional. Después de ejecutar el trabajo directamente, puede verlo a través del botón indicador, como se muestra en la siguiente figura:
Método 2 : Si tiene un sistema de indicadores y desea integrar los indicadores de trabajo de Flink en su propio sistema, hay dos puntos principales: primero, asegúrese de la conectividad entre el trabajo en el VVP y la red de su propio sistema de indicadores; en segundo lugar, configure el correspondiente en Flink conf El reportero de métricas. Como se muestra en la figura siguiente, en el proceso de creación de un trabajo, configure las métricas (referencia para la configuración de los reporteros de métricas: https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/metrics.html ):
Ejemplo: use el método pushGateway de premetheus, por lo que la clase de reportero elige org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter. Configure el puerto y el host de pushGateway como se muestra en la figura anterior, y la configuración del reportero de métricas estará completa. Una vez que el trabajo se haya iniciado correctamente, verifique los indicadores en el disco grafana configurado, como se muestra en el siguiente ejemplo.
Cuarto, cómo ingresar el registro de trabajos de Flink en el sistema externo
Si el trabajo falla repentinamente durante la ejecución del trabajo y queremos ver el registro del trabajo fallido, debemos guardar el registro del trabajo Flink. La plataforma VVP proporciona dos soluciones para este propósito: Escribir registros en OSS o SLS. En pocas palabras, al crear un trabajo, configure algunos parámetros de registro en el elemento de configuración de Registro.
Método 1: escriba el registro en OSS. Al crear un trabajo, en la configuración de Registro en la configuración avanzada, elija usar definido por el usuario, luego coloque la configuración en el (documento de ayuda) en la configuración personalizada, y luego reemplace algunos parámetros con los parámetros necesarios de OSS. Bueno.
Cuando necesite ver el registro, puede buscar el archivo almacenado en el registro a través de la guía del documento de ayuda y luego hacer clic en descargar para verlo.
El segundo método es escribir el registro en SLS. Similar al método 1, excepto que los elementos de configuración de LOG son ligeramente diferentes; los métodos de descarga y visualización son los mismos que los del método 1.
Este artículo es el contenido original de Alibaba Cloud y no se puede reproducir sin permiso.