5. Manejo de eventos de error
Los errores deben tenerse en cuenta en el diseño del sistema ETL, que se pueden dividir en dos categorías: error y excepción.
Errores de nivel de error, el sistema ETL dejará de ejecutarse u omitirá un determinado módulo central. Este tipo de error generalmente requiere un mecanismo de alarma, como un correo electrónico o una alarma de webhook.
Los errores de nivel de excepción se pueden registrar en el registro y se consideran las modificaciones o el mantenimiento posteriores. Por ejemplo, la aparición y filtrado de valores de datos anormales.
Las herramientas ETL generales integrarán una función de registro de errores completa
Ejemplo de tabla de alarmas de eventos de error:
| Evento de error |
|---|
| ID de evento de error |
| Nombre de la tabla |
| Marca de tiempo |
| número de lote |
| Módulo ETL |
| gravedad |
| Registro de errores |