Directorio de artículos
El fusible inteligente del sistema comercial publicitario: "control de flujo inteligente"
Además de diseñar un excelente mecanismo de reintento en el enlace AB - "doble envío", también existe otro mecanismo de " control de flujo inteligente " en el terminal central del sistema ADX para garantizar la robustez del servicio y evitar fallas en la arquitectura del microservicio efecto de jerarquía.
Dichos mecanismos son como fusibles, todos los tipos de los cuales juegan un papel importante en la fusión/autocuración del flujo.
Control de flujo inteligente
Cuando el motor de entrega obtenga las características del tráfico actual, solicitará los servicios de diferentes DSP en tiempo real para obtener la información de los últimos candidatos publicitarios. En el DSP conectado con ADX, la capacidad de carga de cada servicio es diferente en diferentes momentos.
Si alimentamos todo el tráfico de la plataforma directamente al DSP, el DSP no puede permitírselo. El servicio DSP puede destruirse directamente. Incluso si no está colapsado, una gran cantidad de tiempos de espera y falta de respuesta aumentarán el tiempo y la tasa de fallas de toda la exportación del servicio ADX, lo que provocará accidentes comerciales.
Control de tráfico regular
Nota: Para obtener el diagrama de flujo de enlaces completo, consulte los "Detalles del sistema comercial de publicidad" de los tres principales negocios complejos de publicidad, recomendación y búsqueda.
Como se muestra en la figura, cuando el motor de entrega solicita simultáneamente cada DSP con tráfico de 2w, la intervención del tráfico se llevará a cabo a través de ciertas reglas para garantizar que el tráfico cumpla con el límite superior de la carga de DSP.
En cada instancia del motor de implementación distribuida, la instancia estimará el tráfico total entregado por el motor de entrega actual 2w en función del peso de equilibrio de carga de 1/4 y el tráfico de instancia única actual 5k. Si supera la expectativa, se realizará un cálculo de adaptación para obtener la escala óptima de 2,5k.
Cálculo de la fuente de datos
- Las estadísticas de tráfico actuales en el ejemplo son calculadas en tiempo real por la estación de transferencia de datos del sistema comercial de publicidad - "control de servicio en tiempo real del centro de registro" ;
- Los datos del límite superior transportados por el servicio DSP se transmiten de forma transparente al centro de mensajes mediante la plataforma BP del "centro de mensajes", que es el vínculo entre el pasado y el futuro del sistema comercial publicitario , y el lado del motor de entrega lo carga desde el almacenamiento del centro de mensajes.
Control de flujo inteligente
El valor umbral en el control de tráfico convencional es el valor evaluado por los estudiantes técnicos de DSP y, a menudo, es contrario a este valor umbral en la producción real. Por ejemplo, cuando ocurre un evento importante, la estabilidad del servicio se reduce, o el dispositivo de hardware del nodo falla, o incluso la iteración de la función del servicio es anormal...
¿Cómo determinar de manera flexible y dinámica la capacidad de carga de los servicios DSP en producción? Y la adaptación en tiempo real de su tráfico equivalente es un tema clave al que se debe prestar atención en ADX.
Aquí presentamos una arquitectura común en el sistema: modo de montaje.
función de montaje
Tipo de montaje, al montar el script de umbral dinámico central y compartir los datos del umbral, se activa la estrategia de control de tráfico.
Montaremos una lógica de cálculo de datos basada en datos de seguimiento de Prometheus fuera del servicio. Sondeará el DSP para conocer la tasa de fallas y la tasa de tiempo de espera de los últimos 2 minutos con una granularidad de 30 s. Al establecer umbrales, se toman decisiones sobre la relación entre el tráfico y la capacidad de carga del DSP. Por ejemplo, tasa de tiempo de espera > 5 % o promedio de tiempo de espera > 100 ms, o incluso tasa de tiempo de espera > 5 % y promedio de tiempo de espera > 100 ms...
Sobre la base de este punto de referencia, hacemos un mecanismo de elevación. Cuando el tráfico supera la capacidad de carga del DSP, se realizará el ajuste de reducción de peso y el umbral se ajustará en un 10 %; de lo contrario, el peso se ajustará para aumentar al umbral inicial en pasos de 2 %.
almacenamiento de umbral
Cuando se encuentra que los datos montados están en un estado anormal en este momento, el umbral en tiempo real se calculará de acuerdo con la "estrategia de tamaño de paso" anterior y se colocará en el MC. El motor de entrega primero tomará el valor de MC como el umbral de control de tráfico; si no hay un estado anormal, prevalecerá el umbral de datos en Redis.
Fortalezas y debilidades de la arquitectura
El guión de umbral dinámico coopera con la estrategia de control de flujo. Las dos partes funcionan de forma independiente y cooperan para formar un sistema de control de flujo inteligente, que elimina el problema al comienzo del texto. En el mecanismo de elevación de peso, la granularidad de la transición suave se puede controlar arbitrariamente.
- El modelo de arquitectura montada maximiza la flexibilidad y el desacoplamiento de políticas;
- La desventaja también es muy obvia, al confiar en scripts externos y componentes de terceros, cuando la parte dependiente falla, la función de control de flujo general se perderá. [En general, se construirá el monitoreo en tiempo real correspondiente y la alarma se usará para comunicarse]
Para un sistema ADX complejo, el diseño de control de flujo inteligente refleja en gran medida la autonomía e inteligencia del servicio. Es una parte extremadamente valiosa en el diseño de la arquitectura del sistema empresarial a gran escala.
Construcción e implementación de servicios.
En el sistema ADX, todo el enlace involucra casi cien microservicios grandes y pequeños.
Una buena construcción de servicios y capacidades de implementación flexibles y ágiles son las piedras angulares para garantizar la rápida entrega de valor en el negocio de la publicidad...
Ver artículo de seguimiento!
Lectura recomendada:
anuncio, recomendación, búsqueda de tres empresas complejas principales "Detalles del sistema empresarial publicitario"
Herencia del sistema empresarial publicitario del pasado y del futuro - "Centro de mensajes"
Estación de transferencia de datos del sistema empresarial publicitario - "Centro de registro - Supervisión del servicio en tiempo real"
El puente de datos del sistema de negocios de publicidad - el canal principal del
sistema de negocios de publicidad "transferencia y liquidación de datos de exposición del centro de registro" - la toma de decisiones auxiliar del
sistema de negocios de publicidad "monitoreo e informes del centro de registro-s2s" - el " Sistema de negocio de publicidad de plataforma experimental AB
Precipitación del marco——Fusible inteligente del “Marco de servicio de consumo de datos”
Sistema de negocio de publicidad—Entrega ágil del Sistema de negocio de publicidad “Control de flujo inteligente” ——Conexión comercial del Sistema de negocio
de publicidad “Implementación basada en contenedores Docker”
—“PDB - Entrega de publicidad [cantidad y precio]"
Hágalo con tres líneas de código: invertir la lista vinculada...
La tecnología central de alto rendimiento y alto rendimiento de Kafka y los mejores escenarios de aplicación...
Cómo HTTPS garantiza la seguridad de la transmisión de datos: protocolo TLS...
Cree una sistema de monitorización basado en Prometheus + Grafana en cinco minutos...