Hola a todos, soy el Sr. Pies
La integración de flujo y lote se está volviendo cada vez más popular, y es impresionante .
Antes de usar el paquete java flink-sql-client para enviar archivos de script, había mucha fricción.
Sin embargo, Dinky se descubrió durante el desarrollo de la plataforma integrada stream-batch , y finalmente se volvió suave como la seda.
¡Hoy recomendaré el discreto pero poderoso Dinky a mis amigos! Poderoso, libérate .
Mono
Basado en el desarrollo secundario de Apache Flink, sin intrusiones, listo para usar, el tiempo real es el futuro y el flujo por lotes está integrado.
Aprovecha Dinky, infinitamente sedoso.
El oficial tiene un tutorial de uso detallado y ya es de código abierto.
Lo más importante es que puedes unirte al grupo de intercambio y preguntarle al autor (un tipo grande que es más paciente) en cualquier momento.
plataforma diminuta
Para construir Dinky, es relativamente simple seguir el tutorial de construcción oficial paso a paso.
Como plataforma informática en tiempo real de FlinSQL, sus funciones principales:
- Compatibilidad con sintaxis nativa de Flink, conectores, UDF, etc.: Migre trabajos de Flink a Dinky a un costo casi nulo.
- Sintaxis mejorada de FlinkSQL: funciones agregadas con valores de tabla, variables globales, combinación de múltiples fuentes CDC, entorno de ejecución, combinación de declaraciones, sesión compartida, etc.
Admite múltiples versiones de Flink: Admite la capacidad de servir como múltiples versiones de FlinkSQL Server y OpenApi. - Admite operaciones DB SQL de fuentes de datos externas: como ClickHouse, Doris, Hive, Mysql, Oracle, Phoenix, PostgreSql, SqlServer, etc.
- Admite la operación y el mantenimiento de tareas en tiempo real: trabajo en línea y fuera de línea, información de trabajo, información de clúster, instantánea de trabajo, información de excepción, registro de trabajo, mapa de datos, consulta ad hoc, versión histórica, registro de alarma, etc.
Para más funciones, amigos, vayan al sitio web oficial para ver de un vistazo.
Dinky experiencia de desarrollo secundario
Simplemente descargue el código fuente e importe la idea directamente, que no es diferente de un proyecto de importación normal.
Dinky, desarrollado con java, es muy amigable, quién sabe cómo usar tal volumen de java ahora.
- Cuando use Dinky como la plataforma de flujo por lotes, utilícelo como backend y solo necesita volver a desarrollar el frontend de acuerdo con las necesidades.
Los días de mirar el código fuente siempre son muy agotadores. (Duele mirar el código de otras personas)
Debe entenderse, porque Flink es muy popular .
Pero el mayor sentimiento es que aprendí mucho sobre Flink y entendí cómo el autor lo resume.
Simplemente mirar el código fuente siempre es agotador. Solo en el trabajo real, necesita modificar la función. Mirar el código fuente es muy eficiente y no aburrido.
Plataforma de desarrollo propio
El desarrollo del módulo fuera de línea está actualmente en marcha y la programación es un poco difícil.
Planeé usar el Airflow familiar antes, pero descubrí que el pequeño delfín es muy popular y también quiero aprender, así que lo organicé.
El módulo de transmisión en tiempo real de la plataforma planea integrar el código fuente de Dinky en el futuro para hacer que la plataforma sea más completa y poderosa.
¡Les deseo todo el éxito y éxito al final!