Inspur Yunhai lanzó oficialmente una nueva generación de máquinas todo en uno hiperconvergentes de la serie InCloud Rail G7 en mayo de 2023. Su componente de almacenamiento hiperconvergente InCloud dSAN integrado se basa en una nueva generación de diseño de plataforma de hardware y es compatible con protocolo RDMA de pila completa. También tiene función de borrado EC. También brinda una nueva experiencia y proporciona funciones de producto más ricas para los usuarios en la nueva era.
Este artículo explicará en detalle cómo InCloud dSAN diseña la función de borrado EC en la nueva generación de máquinas todo en uno hiperconvergentes de la serie InCloud Rail G7.
¿Qué es la tecnología de codificación de borrado EC?
La tecnología de codificación de borrado es un método de protección de datos que utiliza principalmente algoritmos de codificación de borrado para dividir los datos originales en múltiples segmentos, luego realiza la expansión y verificación de codificación, y almacena los datos segmentados y la verificación juntos en discos, nodos de almacenamiento o almacenados en otro lugar para tolerancia a fallas. propósitos. Principio básico: bloque de datos total = bloque de datos original + bloque de verificación, comúnmente expresado como n = k + m. La idea básica es calcular los elementos de datos originales de k bloques mediante ciertos cálculos de codificación para obtener m elementos de verificación de bloque. Para estos elementos de bloque k + m, cuando cualquiera de los elementos de bloque m falla (incluidos los errores de datos y de verificación), los datos originales del bloque k se pueden restaurar mediante el algoritmo de reconstrucción correspondiente.
Desafíos de la codificación de borrado EC en el diseño de almacenamiento en bloques
Figura: Diagrama esquemático de segmentación y cálculo de datos del código de borrado EC
El escenario anterior toma como ejemplo K = 4 y M = 2. Primero, los datos de la aplicación se dividen en 4 fragmentos, luego se calculan dos fragmentos de tira de paridad y luego los 6 fragmentos se descargan de acuerdo con el algoritmo de distribución de datos. 6 nodos para almacenamiento. Dado que la estrategia de copias múltiples es una estrategia de redundancia de datos comúnmente utilizada por los clientes, hemos realizado un análisis relevante sobre los procesos de lectura y escritura de codificación de borrado EC y tres copias y los procesos en escenarios de falla: De la siguiente tabla, se puede concluir que en el proceso de escritura normal En este caso, se necesitan 7 IO para completar el proceso de escritura normal, y al mismo tiempo, se requieren 7 IO para leer y escribir en un escenario de falla, lo que resulta en una mayor penalización de lectura y escritura. Además, en el proceso de lectura y escritura de IO de bloques pequeños, si el bloque de datos es más pequeño que el tamaño de datos del segmento EC, se desperdiciará espacio.
| Estrategia de redundancia de datos |
Escenarios de lectura y escritura. |
Consumo de tiempos de IO de lectura y escritura. |
| CE (4+2) |
lectura normal |
1 _ |
| escribe normalmente |
4 leer IO, 3 escribir IO |
|
| Lecturas que caen en el disco fallido. |
5 leer IO |
|
| Escrituras que caen en el disco fallido |
5 leer IO + 2 escribir IO |
|
| tres copias |
lectura normal |
1 _ |
| escribe normalmente |
3 _ |
|
| Lecturas que caen en el disco fallido. |
2 _ |
|
| Escrituras que caen en el disco fallido |
1 _ |
En escenarios de aplicaciones hiperconvergentes, los usuarios suelen utilizar el almacenamiento en bloque para procesar los datos de la aplicación, lo que es adecuado para escenarios que incluyen virtualización, plataformas en la nube, bases de datos, etc. Este escenario generará una gran cantidad de cargas de lectura y escritura aleatorias de bloques pequeños y, al mismo tiempo, los usuarios tienen altos requisitos de latencia, que deben controlarse en 5 ms y tienen poco impacto en el negocio en escenarios de falla. Estos requisitos son las deficiencias de la codificación de borrado CE.
Diseño CE de hiperfusión Inspur Yunhai en la plataforma G7 de nueva generación
Debido a las ventajas y desventajas obvias de EC, cómo utilizar las funciones de EC en el almacenamiento de bloques hiperconvergentes es una necesidad urgente hoy en día. Inspur Yunhai Hyper-Convergence ha creado un diseño de solución único en la plataforma G7 de nueva generación:
Figura: Esquema de diseño del código de borrado EC
Los aspectos más destacados del programa incluyen:
- Gestión jerárquica de datos: el almacenamiento de datos se divide en una capa de caché y una capa de datos. La capa de caché utiliza almacenamiento NVMe y Sata SSD de alto rendimiento. Al mismo tiempo, se utiliza un diseño de copias múltiples en la capa de caché para proporcionar una alta -capacidades de almacenamiento de datos de rendimiento. La capa de datos proporciona almacenamiento EC, principalmente almacenado en discos duros HDD, lo que proporciona espacio de almacenamiento de alta capacidad.
- Gestión inteligente de caché: diseñamos una gestión de caché inteligente por niveles en caliente y en frío para identificar eficientemente los datos calientes y fríos. Al mismo tiempo, diseñamos funciones de gestión de caché global para garantizar que los datos calientes de los clientes se almacenen en el espacio de caché.
- Almacenamiento eficiente del espacio de datos: debido al almacenamiento de copia en la capa de caché, se agregan pequeños bloques de E/S de la aplicación de la capa superior. Cuando los datos se convierten en datos fríos y se descargan a la capa de almacenamiento EC, el lavado utiliza la alineación de datos y se agrega en grandes tiras secuenciales. Con lectura y escritura, se puede realizar un almacenamiento de datos eficiente en la capa de datos EC.
- Computación acelerada EC : el diseño admite múltiples motores de aceleración EC y admite computación acelerada EC en diferentes plataformas. Entre ellas, la biblioteca de aceleración EC ISA-L se utiliza en la plataforma Intel para aprovechar al máximo las capacidades informáticas EC de las CPU Intel.
Para verificar el efecto de la solución: compare la prueba de rendimiento de la computación acelerada ISA-L y el uso del software puro Jerasure sin computación acelerada por CPU. Los datos de prueba que se muestran en la figura siguiente adoptan aplicaciones de bases de datos comúnmente utilizadas en industrias como las finanzas y la atención médica. Utilizando datos de prueba 1G, en el escenario de flash de datos de activación, el algoritmo EC se utiliza para seleccionar los algoritmos Reed-Solomon y Cauchy para probar. el escenario de supresión de la CE. Encontrado a partir de datos experimentales:
Figura: Comparación del ancho de banda de computación EC de diferentes modelos K/M ISA-L y Jerasure
- Bajo diferentes modelos K/M de ISA-L , el rendimiento del ancho de banda de cálculo de EC es relativamente estable, mientras que los cálculos de software muestran una tendencia lineal a la baja a medida que aumenta la cantidad de cálculo;
- La tasa de rendimiento de ISA-L en la plataforma G7 de nueva generación es de 9,8 GB/s, 5,7 veces mayor que la informática por software.
Resumen: en comparación con la estrategia de copia múltiple, la codificación de borrado EC puede mejorar la utilización del almacenamiento. Por ejemplo, la tasa de utilización en el escenario 4 + 2 es del 66%, 3 copias es solo el 33% y 8 + 2 puede alcanzar el 80%. Sin embargo, en comparación con las copias múltiples, todavía hay más margen de optimización en lo que respecta al cálculo de borrado EC, verificación de datos, penalizaciones de lectura y escritura y otras cuestiones. El software de almacenamiento distribuido InCloud dSAN se basa en la plataforma G7 de nueva generación y se basa en nuevo hardware (CPU Intel Xeon de nueva generación) y la biblioteca de aceleración de software ISA-L para diseñar nuevas funciones EC y adoptar capas de datos únicas, gestión inteligente de caché y soluciones de software. como la colaboración intensa, resuelven los actuales problemas generalizados de redundancia de datos y utilización del espacio de almacenamiento.