Autor | equipo de dragón nube Ali
Zebian | Elle
Exposición | RDCC (ID: CSDNnews)
prefacio
Recientemente, ASPLOS 2020 anunció la industria de la computación los últimos avances científicos y tecnológicos, incluyendo documento titulado "de alta densidad multi-arrendatario Bare-metal de la nube" nube Ali presentado, el documento explica cómo la nube Ali ya que la arquitectura de servidor consulta a resolver los problemas del dragón nube de computación para la industria de muchos años de problemas de pérdida de rendimiento de la virtualización, romper el mito de la máquina de rendimiento físico, por lo que los límites de funcionamiento de la brecha servidor de la nube.
Los medios de inclusión que la informática mundial reconocerá Ali tecnología de auto-desarrollo cima de la nube, la tecnología innovadora también significa que China en la industria informática mundial ganar un lugar.
ASPLOS es una arquitectura completa, lenguajes de programación y operación de los sistemas de la parte superior de la rueda de tres direcciones de los sistemas informáticos, desde 1982 desde que fue lanzado para promover el desarrollo de una serie de sistemas de tecnología informática, la tasa de aceptación de papel general de alrededor del 20%.
La nube Ali seleccionado documento titulado "de alta densidad multi-arrendatario Bare-metal de la nube", dirigido por el investigador Ali nube de dragón Zhang Xiantao equipo de redacción técnica, interpretación detallada de las ventajas técnicas de la arquitectura del dragón: más allá de la máquina física tradicional 100% puede contar, la capacidad de entrega de clase minuto, el aislamiento físico de seguridad y abrir todo el departamento y otras plataformas en la nube.
La virtualización es la base para la computación en nube, servidores físicos en la unidad de cálculo virtual que desea, y luego tener la máxima flexibilidad, pero puede causar la pérdida de rendimiento. ¿Cómo resolver esta contradicción? Ali en 2017 puso en marcha la "arquitectura del dragón" para compensar la pérdida de rendimiento de la virtualización, además de la elasticidad de la nube y ventajas de operación y mantenimiento.
2019 conferencia Yunqi Hangzhou, Ali nube libera la arquitectura dragón tercera generación, ECS es totalmente compatible con la máquina virtual, el metal desnudo, envase y otra nube nativo, aumentó en 5 veces el rendimiento en IOPS, PPS, etc., puede ayudar a reducir 50% coste computacional. El año pasado, 11 sistema de doble núcleo en una nube 100%, brillo dragón, el éxito Kang Zhu pico creación 544000 pen / orden sec, en comparación con la misma configuración de la máquina física, no sólo el rendimiento del sistema de negocios en un 20%, y la resistencia a la carga de alta presión realizar un mejor rendimiento general de la empresa es suave y lineal.
No sólo eso, el dragón es el mejor socio de lejos el más tecnología de contenedores populares. Ali nube contraste contenedor de servicio máquina física arquitectura basada en Dragon 10% -30% ventaja de rendimiento.
En la actualidad, el dragón ha sido ampliamente aplicado en el marco de Taobao, Lynx, un novato, y otros servicios de valor máximo rendimiento de dirección de los cuellos de botella.
El documento ACM ASPLOS seleccionado titulado "de alta densidad multi-arrendatario Bare-metal de la nube", por la persona en su totalidad Ali nube investigador y innovadora línea de productos es responsable de Zhang Xiantao, Ali nube de alto nivel técnico experto Zheng, los expertos técnicos de alto nivel Ali nube y Yang Cuelgue otro equipo dragón en coautoría.
En este trabajo, por primera vez, un análisis exhaustivo del metal de los servicios de computación en nube desnudos populares, la infraestructura del dragón connotación. A medida que una nueva generación de la tecnología de virtualización será la dirección de desarrollo del dragón, y de la infraestructura existente para la comparación, elaborado en el cálculo del tanto de hardware como de software, el rendimiento del núcleo, por encima de virtualización de similitudes y diferencias. Tesis muestran por encima de los datos de rendimiento para una variedad de negocios revela plenamente las ventajas únicas de la arquitectura de metal desnudo dragón. La siguiente interpretación detallada para el papel.
resumen
La virtualización es la piedra angular de la computación en nube, múltiples inquilinos (máquinas virtuales) para compartir un único servidor físico, mejorar la utilización de los servidores del centro de datos, por lo que la nube de computación proveedores de servicios pueden ofrecer un servicio más rentable. Sin embargo, la tecnología va a introducir una gran cantidad de problemas de seguridad y más VM compartida servidores físicos virtualizados, especialmente en los últimos ataques de canal lateral. Además, la CPU, la memoria y la I / O tendrá una sobrecarga no despreciable en la virtualización de rendimiento. Con este fin, el arrendamiento servidor físico se ha convertido en un tipo emergente de servicio en la nube pública, el contrato de arrendamiento servidor físico proporciona a los usuarios una potente aislamiento, así como el acceso directo a un rendimiento más amplia y predecible del hardware. Sin embargo, el servidor físico forma de leasing también tiene sus desventajas: sólo puede ser para un solo usuario, no tienen la capacidad de ampliación, el costo y alta adaptabilidad débil. servidor físico actual puede arrendar un servidor físico toda arrendado a un único usuario, y el usuario no puede reemplazar fácilmente la imagen de servicio básico, el almacenamiento en la nube de computación alquiler de servidores.
En este trabajo, se propone un multi-usuario innovadora de alta densidad compartida diseño de servidor de metal desnudo elástica, que es elástica Ali nube de dragón arquitectura de metal desnudo (papel para cumplir con los requisitos de la llamada opinión BM-Colmena). densidad Ali nube Dragón arquitectura de metal desnudo, cada instancia se ejecuta en el metal desnudo el cálculo de un único diseño de la placa hija, el cálculo de la placa hija con módulos de CPU y memoria propietarias. BM-Hive calculado para cada sub-panel está provisto de un hardware / software mixto virtio sistema de I / O que permite a los clientes a los casos de acceso Aliyun de red y almacenamiento servicios directamente. BM-colmena puede alojar hasta 16 metal desnudo en un solo instancias de servidor físicas, aumentó significativamente la densidad de instancias del metal desnudo servidor. Además, BM-Hive aislamiento estricto en el metal desnudo nivel de hardware cada caso, para aumentar la seguridad y el aislamiento. programa de densidad de metal desnudo elástica del dragón se ha desplegado en la nube pública Ali nube. En la actualidad ofrece servicios a un millón de usuarios simultáneos.
introducción
Aspecto de arrendamiento servidor físico es cumplir con los requisitos muy estrictos sobre el rendimiento o la seguridad de los clientes. Sin embargo, para un solo inquilino, servidores físicos de baja densidad, pero hay un alto costo. nube pública por encima de la mayoría de los clientes son clientes de pequeñas y medianas empresas. Contamos el número de servicios en la nube CPU virtual VM cada una de las especificaciones mencionadas, la demanda VM durante menos de 32Core representaba más del 95%. Las especificaciones de la CPU para servidores físicos existentes tienen un mínimo 64Core, hasta 128Core. Estos pequeños y medianos clientes no tienen otra opción, o renunciar a pie de máquina física de rendimiento y seguridad, utilizando la tradicional VM virtualizado, o ceder todo el servidor, y dan relación calidad-precio. También no tiene la elasticidad del metal desnudo nube pública aún no se ha convertido en una causa importante de la corriente principal.
Con este fin, hemos diseñado el de alta densidad flexibles arquitectura de metal desnudo Dragon: una solución escalable, soporte de hardware de metal desnudo elástico para soluciones de virtualización varios inquilinos. El marco de metal desnudo (BM-Hive) puede garantizar CPU rendimiento y la memoria tienen una máquina físico local se está ejecutando, pero los dispositivos también virtuales de hardware IO, junto con la mayor parte de las funciones importantes de la nube de carga de minutos, la expansión elástica y similares. BM-colmena consiste en tres módulos: Cálculo de mesa sub, IO-Bond, BM-hipervisor. Cálculo placa auxiliar contiene la CPU y de memoria instancias de metal Alternativamente desnudos; carreras BM-hipervisor en nuestro servidor físico subyacente puede albergar un máximo de 16 calcula la sub-bordo; IO-Bond está conectado a la placa de sub cálculo y el BM-Hypervisor corbatas. Introducimos estas tres partes con más detalle en las secciones siguientes.
BM-Colmena esquema de uso de ventajas significativas:
• Asequible: El metal desnudo hasta 16 casos comparten un servidor físico, los clientes pueden reducir significativamente los costos;
• Excelente rendimiento de un solo hilo: Ejemplos de CPU de alta frecuencia de metal desnudo, tal 4.2GHz i7;
• compatible con la operación y mantenimiento del sistema actual: Los clientes pueden utilizar como ejemplos, al igual que otros casos de metales no operativos metal desnudo desnudos, incluyendo espejos, vuelva a colocar la bandeja del sistema, añadir / eliminar la nube de disco cloud computing operación única y conveniente.
Comparar el número de instancia actual de los diferentes méritos de nube pública de la siguiente manera:
Dragón arquitectura de metal desnudo es una arquitectura de hardware y software de virtualización integrada
Dragón y el software de integración de hardware arquitectura de virtualización de metal desnudo es una evolución natural y la mejora de virtualización existentes. En la figura siguiente, la arquitectura general anterior, BM-colmena con el programa de virtualización tradicionales de CPU / memoria, la operación de acceso y sistema de mantenimiento, y otros aspectos de la multiplexación de múltiples usuarios muy similar. Hemos desarrollado un hardware de metal al descubierto el metal desnudo dragón para compartir esquema para manejar un subsistema BM-hipervisor IO calcula la placa hija.
virtualización actual se enfrenta principalmente los siguientes problemas:
Antes discutido en detalle dragón arquitectura de metal desnudo, echemos un vistazo a algunos de los problemas que actualmente enfrenta la nube de la tecnología virtual. El software de virtualización de hardware de metal y de integración de soluciones Dragón desnudos una buena solución a estos problemas.
• sobrecarga de virtualización no puede cumplir con los requisitos de alto rendimiento
• La virtualización existe más allá del control del comportamiento de la fluctuación, que no puede cumplir con los requisitos de rendimiento extremo de la escena
• requisitos de la industria alcance específico virtualizado de aislamiento de seguridad
• El rendimiento de la virtualización anidada no puede satisfacer las necesidades del cliente
La virtualización de arriba:
virtualización actual de la CPU determina los principios básicos tienen que conectarse espalda (VM-Salida) en el entorno de CPU virtual y el entorno físico de la CPU hacia abajo. cambia con frecuencia de VM puede causar serios problemas de rendimiento. Por ejemplo, un paso a través típico interrupciones de dispositivos en un flujo de proceso virtualizado es muy largo. hipervisor KVM bajo un conmutador virtual requiere miles de ciclos de reloj, el costo es probable que llegue a ~ 10us. En circunstancias normales VMExit (tales como interrupciones) alcanzados por 5K, el rendimiento VM comenzará a ser afectados. Hay VMExit todas las causas, como el IPI, el EPT violación, el acceso MMIO, y así sucesivamente.
Se muestrearon 300.000 instancias virtualizadas de los datos de funcionamiento, encontramos ejemplos de más de 10.000 veces por segundo VM-Salir alcanzaron el 3,82%, e incluso muchos casos más de 100.000 interruptores por segundo.
Dragón desnudo de metal BM-Hive resultado del cálculo de la sub-placa se está ejecutando directamente ejemplo, evitando cualquier sobrecarga de virtualización de CPU / memoria convencional.
La virtualización comportamiento de la fluctuación:
A medida que el cliente los servicios de instancia y del sistema comparten la misma CPU, lo que llevó al sistema host cuando el servicio está ocupado puede afectar el funcionamiento de la instancia de cliente. Nosotros los casos muestreados en 20.000 casos de la CPU en ejecución sea invalidada, que se encuentra en un ejemplos compartidos, hay más de 200 casos, en funcionamiento ocupado utilización de la CPU de un 2%. Ese es el rendimiento real de esta CPU 200 es un ejemplo de 100% en lugar del 98%, en el caso en que se han producido el mismo tipo de ejemplos exclusivos. Después de todo, el proceso de interrupción se requiere necesariamente en la CPU del sistema anfitrión de proceso. Mientras que el ejemplo BM-colmena, los servicios del sistema se ejecutan en BM-hipervisor, la CPU calcula la sub-placa es diferente CPU física, por lo desnudo ejemplo dragón del metal no existe ninguna preferencia problema recursos de computación.
La virtualización de seguridad:
Esto no es un problema nuevo, todos reconocemos el nivel de seguridad de bajo a alto formulario: Proceso -> Contenedores -> Virtualización -> máquina física. ataques de canal lateral se producen por lo que esta descripción, los ejemplos no se virtualizan irrompible. Dragón lo anterior cálculo de sub-placa desnudos instancias de metal se ejecuta en un separada, físicamente aislado de natural, estos problemas de seguridad no está presente
Anidados problemas de rendimiento de virtualización:
Generalmente KVM virtualización anidada pérdida de rendimiento en más de 20%, particularmente cuando algunos de los más frecuentemente el escenario de operaciones de IO. Así, en el ejemplo, es difícil cumplir con los requisitos de la corriente secundaria informático virtualizado nube. Las instancias de metal desnudo Dragón se pueden ejecutar la solución de virtualización de cliente que ejecuta su propia variedad favorita de hardware de aceleración de nuevo en la instancia interna.
Diseño del dragón sistema de la arquitectura de metal desnudo
Con el fin de resolver los muchos problemas de Virtual tradicional, BM-colmena objetivos consideraciones de diseño son:
• Multi-propiedad
• unidad de aislamiento de seguridad física
• Acceso sistema de operación y mantenimiento existente
• rendimiento de la máquina física
• Bajo costo
Figura 3 muestra la arquitectura general del sistema de la BM-colmena. Nos Shenlong ejemplo metal desnudo se llama: BM-invitado. Sobre la base de la instancia virtualizada tradicional se llama: VM-invitado. Cada servidor desnudo se compone de una placa base y una pluralidad de cálculo sub. En la base es esencialmente un servidor basado en Xeon simplificado. Cada tarjeta tiene un conector de la placa sub-expansión cálculo PCIe en la base final. Los principales componentes incluyendo CPU, memoria, bus PCIe y IO-Bond. IO-Bond es una interfaz de hardware implementado en una FPGA. Está conectado a una placa base y un bus sub PCIe cálculo, la función de puente transparente similar a la función de la PCIe. IO-Bond calcula en el bus PCIe placa hija, que simula una pluralidad de dispositivos de soporte de controlador estándar virtio virtio kernel. acto IO-Bond como bm-invitados / front-end virtio y el puente de fondo del BM-hipervisor. Actualmente, IO-Bond red de apoyo virtio y dispositivos de almacenamiento (dispositivos de bloque). Puede ser fácilmente extendida para soportar otros dispositivos virtio.
Análisis de los datos experimentales
Voy a ser el rendimiento de la tradicional BM-Colmena del sistema de CPU / memoria virtual superado por el contrario, sino también para el análisis de los datos de rendimiento de la red, el almacenamiento y el otro subsistema IO. Por último, vamos a dar ejemplos de rendimiento dragón de metal desnudo en escenarios de negocios del mundo real.
CPU y la memoria de perfiles de ejemplo metal desnudo dragón
CPU local y los casos de metal desnudo rendimiento de la memoria críticos para el usuario. 7 y la Fig. 8 presenta la misma configuración, ejemplo metal desnudo virtualizados instancias en ejecución por diferencia de rendimiento de la CPU SPEC CINT 2006 medidos por el rendimiento de la memoria herramienta STREAM prueba brecha.
La figura hizo en el procesamiento de la normalización de datos, el rendimiento de la CPU puede ser visto con la máquina física casos de metal desnudo casi no hay diferencia, incluso algunos artículos más allá de la máquina física y el rendimiento de la CPU virtual de los Ejemplos 0-4% de la general pérdida. casos también de memoria similar, el ancho de banda de memoria virtualizados de metal desnudo era de aproximadamente 98% de los casos.
subsistema de análisis de rendimiento de IO
Y BM-guest-VM invitados virtio se basa en la ruta de acceso de E / S aliyun sistema de almacenamiento en la nube de red de acceso VPC, la diferencia entre ellos es que el virtio BM-colmena con el hardware - software de diseño híbrido. En esta sección, vamos a subsistemas de red y almacenamiento VM-BM-huésped invitado y hacer comparación de rendimiento. La velocidad máxima del contrato de acceso a la red Ambos de nuestro ejemplo se limita a la definición del producto 4M PPS, el ancho de banda máximo de 10 Gbit / s, y el límite de almacenamiento es de 25 a 300 Mbps IOPS. Por lo tanto, el propósito de nuestra prueba es si las dos clases de ejemplo para alcanzar los objetivos de diseño.
PPS: vemos BM-Guest / VM-huésped puede llegar a 4M UDP PPS objetivo de diseño, pero más suave VM-Guest, esto puede ser debido a la trayectoria BM-invitados a través de hardware y software de interfaz se ve mejor que VM-invitados multi-plomo.
Latencia: en términos de latencia, consiguen retardos de red VM-huéspedes a ser un poco mejor que el mismo tipo de BM-huéspedes en tres herramientas de prueba, no hay mucha diferencia.
Almacenamiento IO: rendimiento de la memoria IO anterior BM-Guest tendrá en general una mejor VM-invitado. El IO escritura de acceso aleatorio latencia cara superior BM-guest-VM invitados, y los datos en términos de la larga cola de datos BM-huésped mejor que el 50% VM-invitado.
Las aplicaciones típicas de los clientes
Mediante la comparación de los escenarios de aplicación real, podemos descubrir mejor las ventajas de la instancia de metal desnudo. Por ejemplo, comparamos dos ejemplos son las diferencias en nginx servidor de red, base de datos MariaDB, y la base de datos de la memoria de datos como Redis.
Nginx: el tipo de servicio de la mayoría de los clientes elegir el sitio. solicitudes BM-huésped por segundo aspecto del tiempo de procesamiento para cada petición de ser más del 50% VM-huésped
MariaDB: MariaDB es un tipo de datos de prueba estándar, integrados en sysbench. Leer rendimiento supera BM-invitado VM-guest15% o más, mientras que el rendimiento de escritura se supera más del 50%
Redis: una base de datos estructura de datos de lectura y memoria. Redis es ampliamente utilizado para mejorar el rendimiento del servidor y capacidades de servicio. BM-huéspedes en funcionamiento de la prueba Redis es superior a todos VM-invitado. 15 y 16 en la figura. Aquí ya no cansado.
algunas reflexiones
IO-Bond optimización del rendimiento: el rendimiento IO-Bond está por encima de la ruta crítica del sistema IO. Actualmente implementado por la FPGA. Podemos a través de chip ASIC implementado en el futuro para mejorar aún más el rendimiento de la red y de almacenamiento
Transferencia térmica y térmica de actualización: Actualiza caliente metal desnudo en los ejemplos anteriores se pueden lograr. Mientras actualizamos la base BM-hipervisor puede hacerse, por ejemplo, sin la percepción del cliente. Hemos presentado ejemplos de la mejora térmica de los detalles técnicos de papel en 2019 ASPLOS " rápida y escalable de la Modernización de la Infraestructura de VMM Gran Nube " . Y la teoría de transferencia de calor, las instancias de metal desnudo también se puede lograr, hemos hecho algunos intentos. Actualmente en desarrollo.
apoyo SGX: apoyo SGX sin ningún problema en el ejemplo anterior de metal desnudo. Por el contrario, debido a la eliminación de los obstáculos virtualización, el apoyo SGX más fácil.
resumen
Introdujimos los servicios de metal desnudo nube los datos de diseño, implementación y prueba BM-colmena de alta densidad dragón. La práctica ha demostrado que la próxima generación de virtualización como la dirección de la industria del desarrollo, soluciones de hardware y software de integración de dragón en compatible con virtualización ventajas de la premisa, existente para mejorar el rendimiento y la seguridad. Aquí, sinceramente apreciar los esfuerzos del equipo de innovación Ali nube para pagar todo el personal técnico.
【Final】
lectura recomendada
☞ Baidu ilegal ingeniero de minas ganancias 100.000, condenado a tres años; caso antimonopolio de Apple una multa de 1,1 mil millones de euros; GitHub propuesta de adquisición de la NGP | Geeks titulares
☞ tomó el salario anual de $ 220.000 ido no es tan buena como pasante?
☞ Cómo crear un nuevo brote del virus de seguimiento corona con Jupyter Notebook?
☞ nacido en una pequeña ciudad, el flujo de entrada, como entrenador de Fudan, la carrera en Silicon Valley, ¿por qué, de 59 años de edad, Lu Qi, por lo que "la suerte"?
Nos fijamos en cada punto, en serio como favorito
