1. ¿Qué es Flink CDC?
1.1 ¿Qué es Flink-CDC?
Flink-CDC es un proyecto de CDC en Flink, que proporciona capacidades de CDC para varios productos de bases de datos. Coloque los paquetes jar relevantes del proyecto en {directorio de instalación de Flink}/lib/ y se completará la implementación de CDC. En este punto, flink-job se puede crear a través de flink-sql para la base de datos CDC.
1.2 ¿Qué es CDC?
Change Data Capture, utilizando CDC, podemos obtener los [cambios de datos] enviados de la base de datos y enviar estos [cambios de datos] a la [base de datos de destino] descendente u otros productos de datos.
2. Proceso de implementación
- Instalar Flink
- Instale el paquete jar de cdc en {directorio de instalación de Flink}/lib/.
# cdc jar 包
- flink-sql-connector-mongodb-cdc-2.1.1.jar
- flink-sql-connector-mysql-cdc-2.1.1.jar
- flink-sql-connector-oracle-cdc-2.1.1.jar
- flink-sql-connector-postgres-cdc-2.1.1.jar
# jdbc 驱动包
- mysql-connector-java-5.1.29.jar
- ojdbc6.jar
- implementación completa
enlace de descarga
-
Dirección de descarga de Flink:
https://flink.apache.org/zh/downloads.html
https://dlcdn.apache.org/flink/ -
Dirección de descarga del paquete jar de cdc:
https://github.com/ververica/flink-cdc-connectors/releases
3. Preparativos en torno a los CDC
- Habilite el soporte binlog de la fuente de datos MySql.
- Prepare la base de datos de destino.
4. Cómo usar flink-cdc
Flink cdc proporciona dos formas de completar la base de datos cdc. Ellos son:
- flink-sql (recomendado)
- flujo de datos
Ambos métodos pueden crear [flink-job] en flink para la base de datos cdc. Comparado con este último, el primero tiene un modo de operación simple y conveniente y una semántica clara, pero su capacidad de personalización es relativamente débil.
5. Use el método flink-sql para ejecutar flink-cdc
Hay un comando de secuencia de comandos ./bin/sql-client.sh en el directorio de instalación de flink A través de este comando, la consola flink-sql se puede iniciar y enviar para flink-sqlcrear flink-joby flink-cdccompletar archivos 数据库 cdc.
Dirección de demostración del sitio web oficial: https://ververica.github.io/flink-cdc-connectors/release-2.1/