Las aplicaciones utilizan el almacenamiento en caché de memoria para aliviar la petición de lectura a la baja presión, se ha convertido en casi una aplicaciones de Internet estándar. En este artículo, vamos a través de la solución de aplicaciones de Internet escena desglose caché común de elaborar.
1. Descripción Escena
Cache problema desglose resuelto en el presente documento, principalmente para la siguiente memoria caché de datos escenario:
-
Usando el modo de carga lenta carga de datos de la memoria caché (es decir, proporción muy pequeña de los datos de carga de calor en la caché por adelantado)
-
Cache existe dentro de una forma externa de un proceso independiente para el proceso centralizado o tampón caché
-
Los datos finales almacenados en la memoria intermedia de datos de calor, y los datos de calor se compara con la proporción de la cantidad de datos es muy baja
-
Se utiliza en la lectura y escritura que el escenario alto
Escena visto en la descripción anterior, principalmente para resolver un programa de este tipo en los problemas de caché de escritura de alto desgaste que el precio más alto en unos escenarios de caché, cuya solución se simplifica a la siguiente:
Sobre la base de la figura, esta realización tiene las siguientes características:
- datos en vacío se almacena en el tampón de baja velocidad (tal como una base de datos relacional convencional, sistema de archivos, etc.)
- Sólo cuando se utilizan los datos para, se carga en la memoria caché
- Si los datos no se ve afectado en la memoria caché, la consulta de la memoria de baja velocidad se carga en la memoria caché
característica Escena basado en las características y la realización anterior se describe en la sección se puede ver, esta realización puede maximizar el uso de la caché. Programa que tampoco puede ser ignorado caché problema de ruptura de que cuando el riesgo de una gran cantidad de fallos de consulta de solicitud de datos en la memoria caché, la solicitud se transmite a través de una memoria de baja velocidad, puede dar lugar a un proceso de tiempo de espera de memoria muy lento, incluso el tiempo de inactividad. La ocurrencia de este tipo de escenas podría ser ataques maliciosos desde el exterior, sino que también puede ser una solicitud de servicio normal.
2. Solución
desglose caché Hay dos tipos de soluciones: mejorar la tasa de aciertos de caché (por adelantado), a baja velocidad la protección de memoria (después), en las siguientes secciones, vamos a explicar en detalle sobre la base de esta solución de segunda clase
2.1 aumentar la tasa de acierto de caché
La clave es mejorar las medidas preventivas tasa de aciertos de caché, el máximo interceptado solicitud de datos con anterioridad a la memoria de baja velocidad, el programa se subdivide en los siguientes puntos, que se define de la siguiente manera:
2.1.1 Pre-registro
Antes de la caché de consultas, consulta los datos a ser verificados, la interceptación ilegal de las consultas de datos. Detalles prestatario consultas, por ejemplo, el número de préstamo como el principal caché de datos clave, en sus reglas de validación más simples pueden ser: antes de que el número de préstamo de cinco debe ser el número de préstamo "KXDJK" y longitud debe ser de 37. Cuando lo solicite el número prestatario no puede comprobar, solicitud de datos de consulta es interceptada. Un punto importante es: la complejidad de la tasa de aciertos de caché es proporcional a las reglas de validación, y el otro punto es que, en base a los requisitos de rendimiento, las reglas de validación pueden ser complejas, pero deben mantener un alto rendimiento, de lo contrario la ventaja de la caché va a desaparecer, utilizando un desplazamiento similar puede ser operación extremadamente compleja, pero método de verificación de rendimiento para comprobar.
2.1.2 La prevención nula
pierde datos en la memoria caché, la memoria de baja velocidad no pueden consultar los datos, si un gran número de consultas repetidas de los datos, la memoria de baja velocidad traerá grandes consultas de presión. Tal escenario se puede obtener por la consulta nulo a un valor específico (para asegurar que el valor particular no debe ser el mismo valor normal) se almacena en la memoria caché, la memoria caché se complementa con mecanismo de fallo, para asegurar que estos datos en ciertas unidades tiempo, las consultas solamente se extienda a través de los tiempos de memoria de baja velocidad N (dentro de una sola cache proceso, y el tamaño del clúster N nodos)
2.1.3 carga de los datos
En algunos casos, las consultas de datos legítimos en una afluencia instantánea, a pesar de la puesta en práctica de la comprobación previa y protegerse contra un valor nulo, siendo incapaz de resolver este tipo de escenas. Y esas escenas pueden ser caliente y fría a través del análisis de los datos del pasado, antes de que ocurra tal escenario, el calor por delante de los datos cargados en la memoria caché, lo que para una mayor distribución de los requerimientos de análisis de datos caliente y fría, pero también el más eficaz.
protección de la memoria 2.2 de baja velocidad
En el levantamiento de los capítulos de proporción de aciertos de caché, tenemos que resolver es el de reducir la propagación a través del tamaño de la petición maliciosa / ilegal de memoria de baja velocidad, y en este capítulo, tenemos que abordar es cuando más datos de la memoria de baja velocidad de procesamiento de capacidad consultas legítimas afluencia , la mejor manera de llevar a cabo el programa de protección también se divide en los siguientes puntos, explicar lo siguiente:
2.2.1 Protección contra sobrecarga
Los medios de protección de sobrecarga más que la memoria de baja velocidad de la capacidad de procesamiento de las solicitudes de interceptación de antelación, los programas de los siguientes elementos:
-
indicación de memoria lenta evaluación de la capacidad de procesamiento de la unidad de tiempo límite puede ser generalmente realizada por QPS, que es un valor experimental, puede ser obtenido por la prueba de rendimiento
-
memoria lenta actual se maneja en el recuento de petición por unidad de tiempo, es decir, corriente / el número de peticiones procesadas por minuto por
-
La implementación de las estrategias de protección, la solicitud actual es mayor que el límite de tiempo unitario por unidad de tiempo para procesar la solicitud, entonces la petición es interceptada
Sobre la base de los puntos anteriores puede verse, el segundo punto crítico, es decir, la forma de registrar el número de peticiones procesadas por unidad de tiempo de la memoria de baja velocidad, especialmente en un entorno de clúster, se hacen más complejos, a través de un contador de alta velocidad centralizada (por ejemplo, la auto-energizar Redis mecanismo) se realiza, que es el límite superior de la memoria de baja velocidad de la capacidad de procesamiento de un medio de solución precisa pero caro, la solución puede ser más barato capacidad de procesamiento máxima de la memoria de baja velocidad / N (N es el número de nodos en el cluster) como un stand-alone, en la memoria lleva a cabo una operación de conteo.
mecanismo 2.2.2 fusible
Después de la fusión de realización, los mecanismos de protección de sobrecarga en premisa realización, defensas basadas, capacidad de procesamiento de la solicitud de memoria de baja velocidad es interceptado varias veces, una solicitud de datos en la capa de acceso puede determinar si una solicitud para interceptar una capa superior basándose en la respuesta interceptada, sin excederá la solicitud de capacidad de procesamiento se ha transmitido a la memoria de baja velocidad.
3. Resumen de la solución
Lectura recomendada:
La historia de los amigos de entrega gratuita de papel blanco cadena manzana entera