Desde datos hasta aplicaciones de modelos grandes, el 25 de noviembre se celebró la Conferencia Hangzhou Yuanchuang para compartir consejos de desarrollo.

Este artículo se comparte desde la comunidad de la nube de Huawei "¿ Aún no conoce los escenarios de uso de la caché de base de datos?" Ejemplos de escenarios de uso y hoja de trucos de comandos ", autor: Ma Le.

cómo utilizar

Nuestra motivación para continuar suele venir por tener un determinado problema, o tenemos una herramienta y solemos pensar, ¿qué tipo de problema puede solucionar?

¿A qué debes prestar atención al usarlo? Antes de responder cualquiera de estas preguntas, debemos entender qué es.

Redis a menudo se describe como un almacén de valores-clave persistente en memoria. Mantiene todos los datos en la memoria y los escribe en el disco para su persistencia, pero es más que un simple almacén de clave-valor.

Es importante superar este concepto erróneo; de lo contrario, su perspectiva y el problema que resuelve serán demasiado estrechos. La realidad es que Redis expone cinco estructuras de datos diferentes, de las cuales sólo una es una estructura típica de valor-clave.

Comprender estas cinco estructuras de datos, cómo funcionan, qué métodos exponen y qué modelos se pueden utilizar para modelarlas es clave para comprender Redis.

Una base de datos Sql típica tiene sólo una estructura de datos, que son tablas, que pueden ser complejas y flexibles.

Pero las mesas suelen ser difíciles de modelar, almacenar o manipular, y su versatilidad no está exenta de inconvenientes.

No existe una estructura estándar como una tabla, una estructura única para todos; en lugar de eso, se trata de escalares, listas, hashes o conjuntos, simplemente guárdelos directamente como escalares, listas, hashes y conjuntos.

escalares, listas, hashes o conjuntos

No es necesario verificar si el valor existe como MySQL, que es más complicado que llamar a existir (clave) o más lento que O (1).

Pero aquí, centrémonos en ejemplos de aplicaciones específicas y estructuras de significado de instrucciones.

Ejemplo:

Consulte el cálculo del valor de la secuencia de Fibonacci número 35 de la secuencia de Fibonacci. El costo de tiempo de no usar caché es 6 veces mayor que usar caché.

Usar caché No usar caché 

Calcular el décimo número de Fibonacci 0,05 0,05 

Calcular el 35º número de Fibonacci 0,05 6,9 

Calcular el 40º número de Fibonacci 0,05 Tiempo de espera...

Cachés no deterministas: una compensación cuando no hay certeza de que el estado que representan sea consistente con el estado de otros componentes del sistema (servicios backend).

Cuando el tiempo de caché es menor que el tiempo de la función, el almacenamiento en caché es efectivo para 

bases de datos relacionales y cualquier tipo de motor de almacenamiento de datos estructurados de uso común. 

Servicios de terceros a los que se accede mediante Web API 

Sistema de archivos, archivos a los que se accede con mucha frecuencia 

Proporcionar datos o servicios a múltiples usuarios

Los procesos comparten los mismos resultados de caché, lo que no solo reduce el uso de valiosos recursos informáticos, sino que también resuelve los problemas causados por múltiples cachés independientes e inconsistentes.

Redis es una base de datos NoSQL de código abierto escrita en ANSI y C. Es un servicio de estructura de datos en memoria que se utiliza para almacenar todos los datos proporcionados desde la memoria. Y use el disco para almacenamiento.

Los índices secundarios solo se admiten a través del módulo RediSearch. Mongo admite la mayoría de los índices secundarios y no admite el método Map Reduce. Mongodb admite el método Map Reduce.

Como cola de mensajes en caché

RPOP y BRPOP de operaciones de bloqueo, no es necesario sondear para determinar si hay nuevos elementos en la cola

El cliente 1 activa la escucha y bloquea

shell_client1: lista BRPOP1 0

El cliente 2 guarda el mensaje.

shell_client2: lista LPUSH1 a

El cliente 1 recibe el mensaje inmediatamente y sale.

ventaja:

Capacidad para lograr persistencia 

utilizando el modelo de replicación de datos Maestro-Esclavo. 

Las operaciones de cola son todas operaciones de escritura y el Maestro tiene una tarea pesada. El Maestro no necesita realizar el trabajo de persistencia que puede compartir el Esclavo. 

Se utilizan métodos RDB y AOF, seguros múltiples. 

Admite agrupación en clústeres 

y la interfaz es fácil de usar

insuficiente:

Los mensajes en Redis solo serán consumidos por un consumidor. No habrá varios suscriptores consumiendo el mismo mensaje. Un 

mecanismo de procesamiento uno a uno simple después de que el productor o el consumidor falla. Debe implementarlo usted mismo. 

El productor escribe demasiado rápido y el consumo del consumidor es demasiado lento, lo que provoca problemas de memoria en Redis. El mecanismo de procesamiento debe implementarlo usted mismo 

a través de pub/sub.

Funciones de implementación de la cola de mensajes:

Un cliente publica, lo que permite que varios clientes consuman varias veces.
Dispara y olvida: mecanismo de mensajería no persistente, el editor y el suscriptor deben estar en línea al mismo tiempo.
La integridad de los datos no está garantizada.
El mecanismo de confirmación de mensaje Ack/Nack/Reject no es compatible y debe implementarse en el nivel de la aplicación. Sin embargo, si este es el caso, puede usar directamente MQ, ZeroMq, RobitMQ y Kafka (se debe habilitar un servicio independiente). ).
Publica y suscríbete a pub/sub. List, SortedSet y Streams admiten la persistencia de mensajes y necesitan evitar la acumulación de mensajes y causar presión en la memoria.

Comparar con otras colas:

1 Según los mensajes del canal, 



este tipo de mensajes poco tienen que ver con el almacenamiento de claves en redis. 

Incluso si no se almacena información clave en redis, este tipo de mensaje se puede utilizar de forma independiente. 

2 Notificar según los eventos de cambio de información clave almacenados en redis. 



Se puede utilizar para notificar a los suscriptores sobre varios eventos en redis que coinciden con las claves de condición de suscripción. 

3 Streams Cálculo de la cola de streaming 

redis> 5 

Todos los mensajes enviados se serializan en una cadena de mensajes. 

Stream permite el consumo repetido y admite ACK

Comandos relacionados con la cola de mensajes:

XADD: agregar mensaje al final. 

Utilice XADD para agregar un mensaje a la cola. Si la cola especificada no existe, cree una cola. 

Formato de sintaxis XADD: 

ID de clave XADD valor de campo [valor de campo...] 

clave: nombre de cola Si no existe, cree una cola.Crear 

ID: ID del mensaje, usamos * para indicar generado por redis, se puede personalizar, pero debe garantizar el incremento usted mismo. 

valor del campo: registro. 

XTRIM - Recortar la secuencia, limitar la longitud. Utilice XTRIM para recortar la secuencia, limitar la longitud. 

XDEL - Eliminar el mensaje. Utilice XLEN para obtener el número de elementos contenidos en la secuencia, es decir, la longitud del mensaje. 

Formato de sintaxis 

: - Obtenga la lista de mensajes, que filtrará automáticamente los mensajes eliminados 

XREVRANGE - 

Obtenga la lista de mensajes en dirección inversa, con ID de mayor a menor

Comandos relacionados con el grupo de consumidores:


XGROUP 
grupo
XGROUP SETID - Establecer nuevo ID del último mensaje entregado para el
XACK - Marcar mensajes como "procesados"

XREADGROUP GROUP - Leer mensajes en el grupo de consumidoresCREATE - Crear grupo de consumidores 
XCLAIM 
- 
Transferir 
la 
propiedad de mensajes

Como caché temporal y caché de página

En comparación con las bases de datos que almacenan datos en el disco, todos los datos con Redis residen en la memoria, lo que evita retrasos en la búsqueda y permite un acceso ultrarrápido a los datos en microsegundos.

Normalmente, Redis se utiliza para almacenar en caché los resultados de las consultas de la base de datos y para habilitar el almacenamiento en caché de objetos, en lugar del almacenamiento en caché de páginas.

Usando el módulo Nginx SRCache, podemos usar Redis para diferentes propósitos, proporcionando almacenamiento en caché de páginas basado en subrequests como una alternativa a Nginx FastCGI Cache.

Ejemplos de recuentos de acceso por IP y diferentes conjuntos de direcciones IP por ID de usuario (para detección de abusos)

1. Lista de sitios web para rastrear. 

2. Todas las páginas rastreadas deben almacenarse. 

3. Defina la frecuencia para diferentes tipos de sitios: los sitios nuevos deben rastrearse con frecuencia. 

4. Considere robot.txt para determinar qué no debe rastrearse. 

5. Comprenda si la página tiene algún cambio y, de ser así, vuelva a rastrearla. 

6. Analizar y persistir.

Necesita una cola para obtener la estructura de datos para BST que experimenta

1. Set: la clave es el hash de la URL, el valor es el contenido analizado 

2. Zset: la clave es el hash de la URL y la marca de tiempo

Cola - FIFO. Se comprobará si el contenido está disponible en el Set; de lo contrario, se almacenará en el Set junto con el Zset.

involucrando tecnología

- Filtro Bloom para determinar si la página no existe en el almacenamiento. Esto es OOB en Redis. 

- Para modificaciones de página, dependiendo del tiempo de modificación, MD5, etc., esto se puede conservar como una colección separada.

Servir como base de datos caché para otras bases de datos.

Almacenamiento en caché determinista clasificado - Memoización - functools.lru_cache(maxsize, typed) Decorador Menos utilizado recientemente, maxsizd

Establezca el límite superior del espacio de caché, Ninguno significa que no hay límite, escrito define si los valores de diferentes tipos deben almacenarse en caché como el mismo resultado.

Dada exactamente la misma entrada, una función determinista siempre devuelve el mismo valor. Sus resultados se pueden almacenar indefinidamente. Caché en la memoria de proceso, más rápido de recuperar.

Optimice las funciones recursivas que realizan cálculos en la misma entrada varias veces.

script del servidor redis para Lua

Proporciona un modelo de datos único y alto rendimiento, compatible con varias estructuras de datos: cadenas, listas, conjuntos, hashes, que se pueden utilizar para el almacenamiento en caché de bases de datos o la intermediación de mensajes. No se admiten transacciones RDBMS, SQL ni ACID.

Un solo núcleo, fácil de instalar, clave máxima 2G.

Utilice listas, cadenas, hashes, conjuntos ordenados y mapas de bits (comúnmente utilizados en sistemas de información geográfica) como estructuras de datos.

Admite replicación maestro-esclavo y replicación multimaestro-esclavo.

Con almacenamiento de documentos, DBMS gráfico, motor de búsqueda, DBMS de series temporales como modelo de base de datos auxiliar. 

Admite persistencia y fragmentación.

Cómo diseñar un caché en redis

1. Determine si la aplicación lee los datos repetidamente. 

2. Confirme el formato de clave para acceder a los datos almacenados en caché. 

3. Seleccione el tipo de datos redis normal. 

4. Permita el valor de tiempo de vida TTL. 

5. Decida el estrategia de desalojo de datos: decidir la política de desalojo 

6, implementar lógica de lectura y escritura

Servicio de suscripción de alta velocidad

Tres implementaciones de publicación y suscripción:

Pub/Sub 

publicar <nombre del canal><mensaje> 

suscribirse <nombre del canal> 

Lista 

lpush <nombre_lista> <mensaje> 

brpop <nombre_lista> <tiempo de espera> # tiempo de espera 是必填参数

Sorted Set 

zadd <nombre de la serie temporal> <marca de tiempo> <mensaje> 

zrangebyscore <nombre de la serie temporal> <última marca de tiempo> <marca de tiempo actual> CONSCORS

Base de datos en memoria Base de datos de sesión Almacén de sesiones

Aplicaciones basadas en sesiones con lecturas y escrituras frecuentes

Los datos están aislados entre sesiones de la aplicación Los datos están aislados entre sesiones

Por ejemplo

Comercio electrónico, juegos, aplicaciones sociales.

Diseñar una base de datos de sesión.

1. Determine la estructura de la tabla para almacenar datos de la sesión.

2. Determinar la estructura de datos correspondiente a redis.

3. Enumere los requisitos y desarrolle la estructura correspondiente de redis.

4. Decida si el programa cargará los datos de la sesión y cómo resincronizar los datos de redis a mysql.

5. Modificar la capa de acceso a datos o la aplicación de la aplicación.

Limitación de tasa

Herramientas integradas:

redis Contadores incorporados
Acceder a datos de supervivencia TTL
La seguridad de los subprocesos garantiza arquitectónicamente la secuencia correcta de las operaciones de transacción.
Estructura de implementación simple del control de flujo.

web_server Caché 

de cola 

/ 

Trabajador de consulta de bloqueo

El script LUA utiliza operaciones INCR y EXPIRE para implementar la limitación de tráfico

Si el script Lua necesita limitar el límite actual, seleccione la operación

// la función de limitación de corriente de Redis se llama 300000 veces por minuto

contador = Redis.call(INCR call_counter) 

IF contador < 300000 

// Caducar la clave en 60 segundos 

IF contador == 0 ENTONCES 

Redis.call(EXPIRE call_counter 60) 

END IF 

// ejecutar consulta db 

END IF

Geodatos

#Buscar - RediBuscar

Indexación geoespacial #Indexación geoespacial

Las operaciones de escalado y gestión de datos más rentables

Se accede a los datos más rápido.

Mantenga las aplicaciones con capacidad de respuesta en escenarios de alta presión empresarial.

Supere las limitaciones de capacidad física de la base de datos (especialmente los problemas de rendimiento con los datos del disco).

Adjunto encontrará una referencia rápida a la lista de comandos más utilizados.

Nota: El uso de comandos es independiente de mayúsculas y minúsculas.

比如: DEL = DEl = dEL = dEl = DeL = DeL…

Comandos relacionados con la clave de Redis

descripción del comando,

contador = Redis.call(INCR call_counter) 

IF contador < 300000 

// Caducar la clave en 60 segundos 

IF contador == 0 ENTONCES 

Redis.call(EXPIRE call_counter 60) 

END IF 

// ejecutar consulta db 

END IF

Comando de cadena de Redis

Descripción del comando

contador = Redis.call(INCR call_counter) 

IF contador < 300000 

// Caducar la clave en 60 segundos 

IF contador == 0 ENTONCES 

Redis.call(EXPIRE call_counter 60) 

END IF 

// ejecutar consulta db 

END IF

Comando Redis Hash

Descripción del comando

contador = Redis.call(INCR call_counter) 

IF contador < 300000 

// Caducar la clave en 60 segundos 

IF contador == 0 ENTONCES 

Redis.call(EXPIRE call_counter 60) 

END IF 

// ejecutar consulta db 

END IF

Comando de lista de Redis

Descripción del comando

contador = Redis.call(INCR call_counter) 

IF contador < 300000 

// Caducar la clave en 60 segundos 

IF contador == 0 ENTONCES 

Redis.call(EXPIRE call_counter 60) 

END IF 

// ejecutar consulta db 

END IF

Comando Establecer Redis

Descripción del comando

contador = Redis.call(INCR call_counter) 

IF contador < 300000 

// Caducar la clave en 60 segundos 

IF contador == 0 ENTONCES 

Redis.call(EXPIRE call_counter 60) 

END IF 

// ejecutar consulta db 

END IF

Comando de conjunto ordenado de Redis

Descripción del comando

contador = Redis.call(INCR call_counter) 

IF contador < 300000 

// Caducar la clave en 60 segundos 

IF contador == 0 ENTONCES 

Redis.call(EXPIRE call_counter 60) 

END IF 

// ejecutar consulta db 

END IF

Comando de conexión de Redis

Descripción del comando

contador = Redis.call(INCR call_counter) 

IF contador < 300000 

// Caducar la clave en 60 segundos 

IF contador == 0 ENTONCES 

Redis.call(EXPIRE call_counter 60) 

END IF 

// ejecutar consulta db 

END IF

Comandos del servidor Redis

Descripción del comando

El comando Redis Client Pause finaliza la ejecución de comandos del cliente dentro del tiempo especificado.

El comando Redis Debug Object obtiene la información de depuración de la clave.

El comando Redis Flushdb elimina todas las claves de la base de datos actual. El

comando Redis Save guarda datos de forma asincrónica. al disco duro.

El comando Redis Showlog administra el registro lento de Redis.

Redis Lastsave. El comando devuelve la última hora en que Redis guardó correctamente los datos en el disco, expresada en formato de marca de tiempo UNIX. El

comando Redis Config Get obtiene el valor del parámetro de configuración especificado.

El comando Redis Command obtiene la matriz de detalles del comando Redis.

El comando Redis Slaveof convierte el servidor actual al servidor especificado. Servidor esclavo (servidor esclavo) El

comando Redis Debug Segfault bloquea el servicio Redis.

El comando Redis Flushall elimina todas las claves en todas las bases de datos.

El comando Redis Dbsize devuelve el número de claves en la base de datos actual.

El comando Redis Bgrewriteaof realiza de forma asincrónica una operación de reescritura de archivos AOF (AppendOnly File).

Redis Cluster El comando Slots obtiene la matriz de mapeo de los nodos del cluster.

El comando Redis Config Set modifica los parámetros de configuración de Redis sin reiniciar Redis. El

comando Command Info obtiene la matriz descrita por el comando Redis especificado.

El comando Redis Shutdown guarda datos de forma asíncrona en el disco duro y apaga el servidor.

El comando Redis Sync se utiliza para la función de replicación ( El comando interno

Redis Client Kill cierra la conexión del cliente.

El comando Redis Role devuelve el rol al que pertenece la instancia maestro-esclavo. El

comando Redis Monitor imprime los comandos recibidos por el servidor Redis en tiempo real. Para la depuración, utilice el

Comando Redis Comando Getkeys para obtener todas las claves para un comando determinado

. El comando Redis Client Getname obtiene el nombre de la conexión.

El comando Redis Config Resetstat restablece algunos datos estadísticos en el comando INFO.

El comando Redis Command Count obtiene el número total de comandos de Redis. El

comando Redis Time devuelve la hora actual del servidor

El comando Redis Info obtiene diversa información y valores estadísticos del servidor Redis

El comando Redis rewrite Config reescribe el archivo de configuración redis.conf especificado al iniciar el servidor Redis El

comando Redis Client List obtiene la lista de conexiones de clientes conectado al servidor.

El comando Redis Client Setname establece el nombre de la conexión actual.

El comando Redis Bgsave guarda asincrónicamente la base de datos actual en segundo plano. datos en el disco

Comandos de script de Redis