Código fuente de este artículo: GitHub · haga clic aquí || GitEE · haga clic aquí
1. Basado en negocios
Los servicios de datos suelen tener muchos modelos de negocio, lo que conduce a una arquitectura y un negocio de sistemas complejos. Las distintas empresas tienen sus propias capacidades y complejidad. La gestión de datos en sí no es una tarea fácil, por lo que en la etapa inicial de la arquitectura del sistema, los escenarios empresariales que tienen en cuenta las capacidades del servicio:
Servicio API: servicio de datos basado en modo Http, que obtiene datos mediante solicitud, como modelo de control de riesgos, scoring, antifraude y otros servicios;
Servicios de plataforma: un sistema de integración de capacidad de servicio integral, con una baja demanda de servicios personalizados por parte de los clientes, y capacidades completas de servicio de datos de proceso, como una plataforma de marketing digital automatizada que proporciona capacidades de gestión de procesos completos para marketing;
Servicio de recolección: por lo general, los clientes envían eventos de clic relacionados en una forma de enterrar puntos, y el sistema de recolección realiza un análisis resumido basado en omnicanal y proporciona retroalimentación a los clientes;
Análisis visual: se divide en dos áreas principales, análisis y visualización de datos. Los datos se pueden cargar en múltiples fuentes de datos para un análisis conjunto y un análisis altamente automatizado basado en componentes de front-end, tales como sistemas de información de datos comunes;
Privatización de herramientas: sobre la base de las capacidades técnicas acumuladas, vender directamente sistemas de gestión de datos a los clientes e implementarlos en sus propios servicios locales;
En el escenario del servicio de datos, diferentes negocios necesitan soporte de datos en sus respectivos escenarios, pero diferentes negocios necesitan las mismas funciones básicas como operaciones, liquidación, pedidos, etc. Para comprender diferentes escenarios comerciales, es muy sencillo encontrar puntos comunes y diferencias. La idea: las similitudes se desarrollan en los servicios públicos y las diferencias comerciales se desarrollan en los servicios independientes para facilitar la continua expansión y evolución del sistema.
Dos, arquitectura de capa empresarial
La mayor diferencia entre las diferentes capacidades de los servicios de datos es que deben depender del soporte de los datos básicos. Desde una perspectiva empresarial, la capa de arquitectura del sistema también requiere funciones públicas complejas. Estas deben considerarse en la etapa inicial de la arquitectura, de lo contrario el negocio se desarrollará rápidamente y está a punto de afrontar el problema de la reconstrucción.
Operación del cliente: El acceso de cada cliente requiere un conjunto completo de procedimientos, descripciones de servicios, reglas de facturación, gestión de contratos, recarga, activación y desactivación del servicio, facturación y una serie de funciones de apoyo. Generalmente hay dos entradas: inicio de sesión del cliente Fin, el lado del servicio fin de la operación.
Pago y liquidación: el módulo de sistema más complejo que proporciona capacidades de pago, como la agregación de múltiples canales de pago para resolver la recarga y el reembolso del cliente, o las propias necesidades de pago de la parte del servicio, y proporciona varios datos de liquidación de facturas y capacidad de conciliación de saldo.
Gestión de pedidos: la solicitud de cada cliente, o el uso de cada servicio, requiere registros de pedidos detallados para las acciones de facturación que involucran el precio unitario, el número de pedido y la hora. Como base central para la liquidación, también son los datos comerciales más concentrados. donde ocurrió el brote.
Sistema de autoridad: en el sistema de servicio de datos, el diseño del sistema de autoridad se enfoca más en resolver las necesidades del cuerpo principal de la empresa. Los diferentes equipos comerciales son responsables de las diferentes operaciones de servicio, gestión de clientes, etc., por lo que una gestión de autoridad clara y sistemática. se requiere para diferentes roles El personal de la empresa asigna permisos razonables.
Integración de registros: en el sistema de registro detallado, los datos de registro de negocios normales se pueden usar para el análisis de finalización de datos cuando el servicio es anormal, y los datos de registro anormales se pueden usar para que los desarrolladores analicen problemas del sistema y cuellos de botella para optimizar continuamente las capacidades del servicio.
La división y el diseño de los servicios basados en escenarios empresariales, así como la construcción básica de los servicios públicos, garantizan que la estructura de la capa empresarial sea razonable y escalable. La consideración básica para saber si es razonable es si los nuevos escenarios empresariales continuos requieren revisiones drásticas del sistema Si la capacidad del servicio se enriquece continuamente, el costo de la transformación del sistema es pequeño y la estructura natural es razonable.
3. Centro de datos
Los diferentes escenarios de servicios empresariales deben depender de las capacidades de datos básicos. Este es el punto de venta del servicio. Las capacidades de los servicios de soporte de datos básicos generalmente se implementan por separado y brindan varios escenarios de servicio, que generalmente se entienden como centros de datos. Al mismo tiempo, Los propios servicios empresariales también generarán diversos datos. Aquí se almacenarán de forma independiente de acuerdo con el método de implementación del servicio.
Capacidad de servicio: como dependencia pública de varias empresas, el centro de datos no solo debe proporcionar capacidades de consulta basadas en datos, sino que también debe proporcionar ciertos sistemas informáticos y de programación al procesar tareas de datos masivas.
Método de implementación: de acuerdo con las características de los datos, generalmente se almacenarán en una variedad de formas, como clústeres, sub-bases de datos y tablas, motores OLAP, almacenes de datos, etc., y proporcionarán capacidades de servicio unificadas basadas en las características de los datos y abierto a la capa empresarial.
Actualización de datos: los datos deben actualizarse en tiempo real o con regularidad. La fuente de datos suele ser varios datos calculados y procesados por big data, y datos que la capa empresarial verifica incorrectamente o datos que se optimizan continuamente durante el uso.
La implementación de la arquitectura independiente del centro de datos es una operación muy necesaria. La mayoría de los datos están vinculados. El procesamiento de vínculos entre los datos no necesita estar acoplado al nivel empresarial. El flujo de datos, la corrección, la gestión de la seguridad, etc. pueden Todos estarán en el centro de datos La administración unificada evita una serie de problemas complejos causados por la implementación mixta de datos.
Cuarto, la capa inferior de big data
El nivel más bajo de capacidades de servicio de datos requiere capacidades de procesamiento de datos masivas, por lo que se utilizan muchas tecnologías de componentes de big data para almacenar, calcular, analizar y mover datos.
Almacenamiento de datos: el almacenamiento más común en la parte inferior de big data es en forma de archivos, almacenamiento de base de datos estructurado, archivos de registro semiestructurados y algunos datos no estructurados.
Poder de cómputo: El procesamiento de datos masivos necesita depender de una variedad de computación paralela, tareas fuera de línea, computación en tiempo real y otros métodos para lograr el propósito de procesamiento rápido.
Manejo de datos: una vez que se completa el procesamiento de datos, las capacidades de servicio no se brindan directamente en la capa inferior. Los datos generalmente se sincronizan con el centro de datos superior para brindar capacidades de servicio para la empresa. El manejo aquí puede ser la salida de datos o la entrada de datos para ser procesados .
Los componentes subyacentes de los macrodatos son las capacidades centrales del sistema. El cálculo y el análisis precisos de los datos garantizan las capacidades del servicio, y la automatización continua y la administración basada en herramientas de la arquitectura existente son muy importantes. El proceso de administración masiva de datos es más manual. Más significa que la eficiencia es menor, especialmente en el proceso de enviar datos al centro de datos o recibir datos en la capa inferior, es necesario acordar una estrategia para garantizar la transmisión automática segura y estable de datos.
Cinco, consideración general
Para el diseño de un sistema complejo, lo más importante es ordenar claramente el modelo de negocio, analizar el modelo de negocio y hacer que la arquitectura del sistema se base en las características del negocio para evitar muchos desvíos, como el sistema de servicio de datos anterior:
En primer lugar, desde una perspectiva amplia, el sistema divide las tres partes principales de los servicios empresariales, los centros de datos y las capacidades subyacentes de big data, y requiere que no exista una relación de acoplamiento sólida entre cada módulo grande para garantizar que los módulos se puedan expandir. independientemente;
En segundo lugar, determinar las funciones básicas requeridas por cada módulo, la capa empresarial garantiza las capacidades básicas del servicio, y luego extraer y encapsular las funciones básicas requeridas por cada empresa, dividir los servicios comerciales y los servicios públicos, y respaldar las capacidades comerciales;
Luego, determine el modo de colaboración entre los diversos módulos, como las capacidades de comunicación entre la empresa y el centro de datos, los estándares de interfaz, la seguridad de los datos y otros detalles, o el modo de manejo de datos entre el centro de datos y el big data subyacente, para garantizar capacidades de circulación de datos;
Finalmente, se implementan los detalles específicos de cada módulo. Lo que hay que considerar aquí es que de acuerdo con el modelo de negocio, si se pueden seleccionar los mismos componentes y métodos de arquitectura, intentar unificar la selección de la arquitectura y las dependencias de los componentes, y reducir las barreras. entre diferentes módulos;
La arquitectura completa del sistema antes mencionada toma alrededor de siete meses desde el inicio del establecimiento hasta la provisión de capacidades de servicio estables. Durante este período, está en constante evolución y actualización, y se lanzan continuamente nuevos módulos de servicio y se lleva a cabo la supervisión del sistema hasta que los servicios empresariales son relativamente completos y sistemáticos, relativamente estables.
Seis, dirección de código fuente
GitHub地址：知了一笑
https://github.com/cicadasmile/spring-cloud-base
GitEE地址：知了一笑
https://gitee.com/cicadasmile/spring-cloud-base
Leer la etiqueta
[ Java Foundation ] [ Patrón de diseño ] [ Estructura y algoritmo ] [ Sistema Linux ] [ Base de datos ]
[ Arquitectura distribuida ] [ microservicio ] [ componentes de big data ] [ SpringBoot Advanced ] [ Spring & Boot foundation ]
[ Análisis de datos ] [ Mapa técnico ] [ Lugar de trabajo ]
