Esquema de acoplamiento de datos

Tabla de contenido

Información básica

Topología de la red

Se necesitan conmutadores y cortafuegos para garantizar la seguridad de la red;
en principio, es necesario colocar un procesador de front-end en el límite de la red (es posible que la red privada no requiera un procesador de front-end), que se puede utilizar para almacenar grandes cantidades de datos. y también se puede utilizar para el aislamiento de seguridad de la red.

Introducción a los dos modos.

1 modo de extracción (extraer desde el lado comercial):

Ventajas: implementación técnica sencilla/bajo coste, sin costes adicionales;
Desventajas: es fácil causar problemas de rendimiento al sistema fuente / La estructura de datos del sistema fuente cambia, lo que es propenso a errores y fallas de sincronización / El sistema fuente no es responsable de la calidad de los datos

2 Modo de suministro (propuesto por la parte empresarial):

Ventajas: ninguna intrusión en el sistema fuente/la calidad de los datos puede trasladarse al lado empresarial;
Desventajas: se requieren tarifas de interfaz de terceros adicionales / la implementación de la tecnología de acoplamiento es relativamente complicada

1 Tres esquemas específicos de modo de extracción.

1.1 Modo de extracción: interfaz de servicio web

Sistema empresarial - interfaz <- nodo de acceso - plataforma de big data

Ventajas: el momento y la velocidad del acceso a los datos son controlables/el extremo comercial puede controlar el rango de datos y el cifrado de datos;
Desventajas: el acceso por lotes a las interfaces puede provocar inestabilidad en el sistema empresarial;
Escenarios aplicables: pequeños lotes de datos estructurados;
Escenarios inadecuados: grandes lotes de datos no estructurados/sincronización de datos en tiempo real

1.2 Modo de extracción: la forma de conectarse directamente a la copia de seguridad de la base de datos

Sistema empresarial: copia de seguridad de la base de datos <- nodo de acceso - plataforma de big data

Ventajas: el sistema empresarial proporciona una biblioteca de respaldo, que no tiene ningún impacto en el negocio;
Desventajas: en algunos escenarios, la empresa no tiene una base de datos de respaldo/el cifrado de datos está garantizado por la plataforma;
Escenarios aplicables: pequeños lotes de datos estructurados;
Escenarios inadecuados: grandes lotes de datos no estructurados/sincronización de datos en tiempo real

1.3 Modo de extracción: sincronización de archivos

Sistema empresarial-dirección de archivo <-nodo de acceso-plataforma de big data

Ventajas: El sistema empresarial no tiene percepción;
Desventaja: la extracción por lotes tiene un impacto en las fluctuaciones de la red;
Escenarios aplicables: datos no estructurados

2. Cuatro esquemas específicos del modo de oferta numérica

2.1 Modo de suministro de datos: interfaz API

Sistema empresarial - interfaz -> nodo de acceso - plataforma de big data

Ventajas: El sistema empresarial no tiene percepción y tiene menos riesgo;
Desventajas: mayores requisitos de rendimiento para las interfaces del lado de la plataforma/necesidad de pagar por el desarrollo de la interfaz;
Escenarios aplicables: datos estructurados en lotes pequeños/sincronización de datos en tiempo real;
Escenarios inadecuados: grandes lotes de datos no estructurados

2.2 Modo de suministro de datos: sincronización de bases de datos

Sistema empresarial-biblioteca principal de base de datos-> biblioteca de respaldo de base de datos-nodo de acceso-plataforma de big data

Ventajas: El sistema empresarial no tiene percepción;
Desventajas: se requieren tarifas de interfaz adicionales;
Escenarios aplicables: datos estructurados en lotes pequeños/sincronización de datos en tiempo real;
Escenarios inadecuados: grandes lotes de datos no estructurados

2.3 Modo de suministro de datos: sincronización de archivos (compresión)

Sistema empresarial -> Servidor FTP - Nodo de acceso - Plataforma de big data

Ventajas: El sistema empresarial no tiene percepción;
Desventajas: se requieren tarifas de interfaz adicionales;
Escenarios aplicables: sincronización de datos no en tiempo real;
Escenario inadecuado: sincronización de datos en tiempo real

2.4 Modo de suministro de datos: sincronización en tiempo real

Sistema empresarial -> cola de mensajes (kafka) - nodo de acceso - plataforma de big data

Ventajas: procesamiento de datos en tiempo real;
Desventajas: se requieren tarifas de interfaz adicionales;
Escenarios aplicables: sincronización de datos en tiempo real;
Escenarios inadecuados: datos no estructurados