Práctica popular 丨 Cómo combinar el negocio real con la selección de especificaciones de ECS y la verificación de capacidad

Autor: Zhao Jiajia

Con el vigoroso desarrollo de la tecnología nativa en la nube y el precio cada vez más bajo de los productos en la nube, cada vez más desarrolladores Geek y entusiastas de la tecnología eligen el almacenamiento de objetos OSS, el servidor en la nube ECS y otros productos básicos para crear sus propios sitios web, discos de red y otras aplicaciones. Pero para las empresas, frente a los servidores en la nube de ECS con varios tipos y especificaciones, cómo comprender las características clave de las especificaciones de la instancia y garantizar el funcionamiento estable del negocio en escenarios como inventario insuficiente, producto fuera de línea y uso de instancias interrumpibles se convierte en el problema. llave.

A continuación, aprendamos cómo seleccionar un servidor en la nube de ECS y realizar la planificación de la capacidad a través de PTS. A continuación, presentaremos tres métodos diferentes de selección de ECS.

01 Seleccione un modelo basado en los parámetros de especificación de la instancia

Antes de iniciar una instancia de ECS, tomaremos decisiones de configuración en función de factores como el rendimiento, el precio y la carga de trabajo. De acuerdo con diferentes parámetros de configuración, ECS proporciona familias de tipos de instancias que contienen varios tipos de instancias. En el uso real, podemos encontrar la especificación de la instancia con los parámetros más apropiados de las dos formas siguientes.

Familia de tipo de instancia [ 1] : Consulte la documentación para conocer los detalles del producto de la familia de tipo de instancia.
DescribeInstanceTypes [ 2] : llame a la interfaz API de ECS para obtener los últimos parámetros de especificación de rendimiento.

Para este método, debemos comprender el método de denominación del tipo de instancia, de modo que podamos comprender y encontrar rápidamente el tipo de instancia requerido. El formato del nombre de familia del tipo de instancia es ecs.<type family> y el nombre del tipo de instancia es ecs.<type family>.large . Las reglas de nomenclatura específicas son las siguientes:

ecs : código de producto ECS del servidor en la nube.
<Familia de especificaciones> : Compuesta por el cuerpo de la familia de especificaciones + el sufijo de la familia de especificaciones.
Familia informática x86 y familia informática ARM

Familias de tipos de computación heterogéneas, servidores bare metal elásticos y familias de tipos de instancias de clúster de supercomputación (SCC) Las familias de tipos de computación heterogéneas , servidores bare metal elásticos y familias de tipos de instancia de clúster de supercomputación (SCC) generalmente usan sus propios nombres, que consisten en letras minúsculas y caracteres digitales. composición de la mezcla.

imagen

grande : grande indica la cantidad de núcleos de vCPU, y la n más grande indica más núcleos de vCPU. Entre ellos, xlarge representa 4 núcleos, 2xlarge representa 8 núcleos, 3xlarge representa 12 núcleos, etc., y así sucesivamente.

02 Selección según servicios y aplicaciones de construcción propia

Cuando una empresa elige servicios para ir a la nube, mientras compra varios productos en la nube, también creará varios servicios o aplicaciones para satisfacer las necesidades comerciales reales. Para facilitar la selección, hemos resumido y enumerado las especificaciones de instancias de ECS correspondientes a aplicaciones y servicios comunes de creación propia. Puede seleccionar la familia de especificaciones de instancias correspondiente de acuerdo con las aplicaciones utilizadas por la empresa y consultar los principios de selección.

imagen

03 Seleccione según el escenario de aplicación

Además de los dos métodos basados en parámetros directos y aplicaciones y servicios de construcción propia. En el proceso de producción real, encontraremos que muchos escenarios comerciales no pueden satisfacerse con un solo servicio o aplicación. Al mismo tiempo, los requisitos adicionales de los escenarios comerciales relacionados serán relativamente complejos.

Aplicación general, servicio de juegos, escena de video en vivo

En escenarios de uso general, los requisitos de rendimiento son intensivos en CPU y requieren una proporción relativamente equilibrada de recursos de procesador y memoria. Por lo general, la proporción de CPU a memoria es 1: 2. Los discos en la nube de alta eficiencia se usan para discos del sistema y SSD Los discos en la nube se utilizan para discos de datos o disco en la nube ESSD. Si la empresa requiere un rendimiento de red más sólido, como el bombardeo de video, puede elegir una especificación de instancia de especificación más alta en la misma serie para mejorar la capacidad de envío y recepción de paquetes (PPS) de la red.

Escenarios de big data de Hadoop, Spark, Kafka

En escenarios como Big Data de Hadoop, Spark y Kafka, debido a la participación de diferentes nodos, los requisitos de rendimiento son más complejos y es necesario equilibrar el rendimiento de cada nodo, incluida la informática, el rendimiento del almacenamiento y el rendimiento de la red. Entre ellos, los nodos de gestión y los nodos informáticos pueden tratarse como escenarios generales. Según el tamaño del clúster, se deben seleccionar diferentes tipos de instancias. Por ejemplo, ecs.g6e.4xlage se puede usar para menos de 100 nodos y ecs.g6e.8xlage se puede usar para más de 100 nodos. Al mismo tiempo, los nodos de datos requieren un alto rendimiento de almacenamiento, un alto rendimiento de red y una proporción equilibrada de procesador a memoria, para que puedan usar la familia de especificaciones de la serie d de tipo big data. Por ejemplo, se puede seleccionar ecs.d2s.5xlarge para MapReduce/Hive y ecs.d2s.10xlarge para Spark/Mlib.

imagen

Base de datos, caché, escenarios de búsqueda

En este tipo de escenario, generalmente se requiere que la proporción de procesador a memoria del tipo de instancia sea superior a 1:4, y algunos software son sensibles a las capacidades de lectura y escritura de E/S de almacenamiento y el rendimiento de latencia, por lo que puede elegir una familia de tipos con mayor costo de rendimiento por unidad de memoria.

imagen

Tomando la base de datos como ejemplo, en la forma tradicional, el sistema comercial está conectado directamente a la base de datos OLTP y la redundancia de datos se realiza principalmente a través de matrices de discos RAID. Elija el servidor en la nube ECS, las bases de datos de carga ligera y pesada se pueden implementar de manera flexible.

Base de datos de carga ligera: las especificaciones de instancia de nivel empresarial se utilizan con discos en la nube, lo que es más rentable.
Bases de datos de servicio pesado: se requieren IOPS de almacenamiento alto y latencia de lectura/escritura baja. Se recomienda usar la familia de tipos de instancias de la serie i de tipo SSD local (con discos locales NVMeSSD locales de E/S alta) para cumplir con los requisitos de bases de datos de servicio pesado a gran escala.

Aprendizaje profundo, escenarios de procesamiento de imágenes

En escenarios como el aprendizaje profundo y el procesamiento de imágenes, las aplicaciones requieren aceleradores de GPU de alto rendimiento. Se hacen las siguientes recomendaciones para la proporción de GPU a CPU.

Entrenamiento de aprendizaje profundo: se recomienda que la proporción de GPU a CPU esté entre 1:8 y 1:12.
Aprendizaje profundo general: se recomienda que la proporción de GPU a CPU esté entre 1:4 y 1:48.
Razonamiento de reconocimiento de imágenes: se recomienda que la proporción de GPU a CPU esté entre 1:4 y 1:12.
Reconocimiento de voz e inferencia de síntesis: se recomienda que la proporción de GPU a CPU esté entre 1:16 y 1:48.

Además de los escenarios anteriores, hemos resumido escenarios comunes y ejemplos de especificación correspondientes para computación heterogénea y computación general, para que pueda elegir.

04 Verificación de especificaciones y planificación de capacidad

Después de completar la selección y comenzar a usar la instancia del servidor en la nube de ECS, este es solo el comienzo del negocio real. En los negocios reales, cuando los recursos no se convierten en un cuello de botella, la tendencia de concurrencia, TPS y CPU es lineal. Cuando la utilización de recursos está saturada, con el aumento de la concurrencia comercial, la tendencia de TPS permanece estable y la CPU comienza a dispararse. . Cuando la utilización de recursos está saturada y la simultaneidad supera el punto de capacidad límite, la tendencia de TPS y la CPU fluctúan, e incluso la capacidad comienza a aumentar, y el servicio comienza a dejar de estar disponible en este momento.

Por lo tanto, después de seleccionar las especificaciones adecuadas, la estabilidad del servicio, la utilización de recursos y el rendimiento comercial se han convertido en nuevas consideraciones y puntos de enfoque. Los diferentes roles del equipo se enfocan en diferentes cosas:

El equipo comercial debe prestar atención a: si la capacidad puede soportar el volumen comercial de manera estable durante actividades comerciales importantes;
El equipo de I+D debe prestar atención a: la expansión manual, la expansión automática, la liberación/reversión no están limitadas por los recursos;
El equipo de operación y mantenimiento debe prestar atención a: la tasa de utilización de los recursos, el nivel de agua de los recursos del departamento, el uso y el costo de los recursos.

Sin embargo, el modo de configuración de especificación de recursos tradicional basado en la experiencia manual tiene limitaciones.Para garantizar la estabilidad del negocio en línea, se suele reservar una cantidad considerable de recursos y volumen para hacer frente a las fluctuaciones de carga, lo que resulta en una gran pérdida de recursos.

Por lo tanto, es necesario utilizar la prueba de rendimiento de la herramienta de prueba de presión PTS [ 3] para verificar si la selección de la especificación del servidor en la nube de ECS es correcta y para detectar el punto de capacidad seguro óptimo y el límite del sistema en la nube a través del análisis de capacidad y el análisis completo. seguimiento de enlaces de acuerdo con las necesidades comerciales reales Los puntos de capacidad y los puntos de capacidad dañados están protegidos por la limitación actual y la degradación para lograr el mejor equilibrio entre la capacidad del sistema y los costos de recursos en la nube.

imagen

Estrategias de prueba de estrés para escenarios comerciales comunes

En el proceso de simulación de la presión comercial y la combinación del escenario de aplicación del entorno de producción o el entorno de producción de drenaje, elegiremos diferentes estrategias de medición de presión, como mutación, concurrencia, carga, estabilidad y límite para evaluar si los diversos indicadores del sistema cumplir con los requisitos Volumen de negocios, disponibilidad, estabilidad y otros requisitos. Aquí, resumimos escenarios comerciales comunes, las estrategias de prueba de estrés correspondientes y sus ventajas.

imagen

Práctica recomendada: cree una tarea de prueba de presión basada en la prueba de rendimiento PTS

Mientras demostrábamos las mejores prácticas, proporcionamos una experiencia de escenario basada en la prueba gratuita ECS + PTS de Alibaba Cloud, que experimentamos mientras leíamos.

URL: https://developer.aliyun.com/adc/scenario/f37fb4d355684e189b7d87c9b6c8d10b

(1) Preparación antes del inicio del experimento

Si su cuenta maestra de Alibaba Cloud es elegible para una prueba gratuita, se recomienda que abra una prueba gratuita para pruebas de rendimiento PTS y servidores en la nube ECS. Pruebas de rendimiento PTS proporciona 5,000 VUM de recursos gratuitos de prueba de estrés durante el primer mes, y el exceso se facturará como una versión experta de pospago Para obtener detalles de facturación específicos, consulte Reglas de facturación de prueba de rendimiento PTS [ 4] .
Si su cuenta de Alibaba Cloud solo puede recibir algunos productos de prueba gratuitos, reciba los productos que cumplan con los requisitos de prueba gratuitos y luego ingrese al experimento. Los productos que no cumplan con los requisitos de prueba gratuitos se crearán utilizando los recursos de la cuenta personal e incurrirán en un cierta tarifa, preste atención a la deducción de la cuenta a tiempo. Para evitar el desperdicio de recursos y la deducción de la cuenta, configure los parámetros estrictamente de acuerdo con los parámetros proporcionados en este artículo. Una vez que se complete el experimento, elimine o deshabilite la tarea de prueba de presión a tiempo.

Antes de que comience el experimento, elija abrir una prueba gratuita .

Abra la prueba gratuita de prueba de rendimiento PTS: en la parte inferior de la página del laboratorio, seleccione la prueba de rendimiento PTS , haga clic en Probar ahora . En el panel Prueba de rendimiento PTS , verifique el contrato de servicio y haga clic en Probar ahora . En este momento, el sistema saltará a la página de envío correcto, lo que indica que la aplicación de prueba fue exitosa y que puede probar el servicio PTS de prueba de rendimiento de forma gratuita.

Nota: El proceso de apertura de la versión experta de la prueba de rendimiento PTS no incurrirá en ninguna tarifa. En el proceso real, la prueba de rendimiento (pago por uso) proporciona 5000VUM + cuota de prueba de presión gratuita, y el exceso se facturará como la versión experta de pospago Para obtener detalles de facturación específicos, consulte las reglas de cobro de PTS para pruebas de rendimiento.

Abra la versión de prueba gratuita de ECS del servidor en la nube: en la parte inferior de la página del laboratorio, seleccione ECS del servidor en la nube y haga clic en Probar ahora . En el panel ECS del servidor en la nube, complete la configuración de parámetros de acuerdo con las siguientes instrucciones, seleccione el protocolo y haga clic en Probar ahora Si aparece una nueva página, puede ignorarla primero. Este tutorial de prueba toma la siguiente información de configuración como ejemplo: En funcionamiento real, se recomienda seleccionar de acuerdo con el volumen y las necesidades reales de su negocio.

Vaya a la consola de ECS [ 5] , en la barra de navegación izquierda, seleccione Instancias e imágenes > Instancias . En la esquina superior izquierda de la barra de menú superior, seleccione la misma región que la instancia de prueba (East China 1 (Hangzhou) en este ejemplo de tutorial). Establezca la contraseña de inicio de sesión de la instancia. Busque la instancia de prueba que creó, haga clic en > Propiedades de la instancia > Restablecer contraseña de la instancia en el lado derecho de la columna de operaciones y siga las indicaciones de la interfaz para configurar la contraseña de inicio de sesión de la instancia de ECS. Haga clic en el ID de la instancia de prueba, seleccione la pestaña Grupo de seguridad, haga clic en Configurar reglas en la columna Operación del grupo de seguridad y agregue los puertos que deben permitirse en la dirección de entrada. En este tutorial, los puertos 80, 443, 22, 3389 y 8080 están permitidos en la dirección de entrada del grupo de seguridad.

Nota: entre 3 y 5 minutos después de crear la instancia, se puede restablecer la contraseña de la instancia. Si no se puede restablecer, espere pacientemente y vuelva a intentarlo.

(2) Configuración e implementación con un solo clic de aplicaciones ECS

Después de preparar los recursos, puede completar rápidamente la configuración de recursos o la creación de aplicaciones mediante la configuración con un solo clic. La configuración con un solo clic se implementa en función del servicio de orquestación de recursos ROS de Alibaba Cloud y tiene como objetivo ayudar a los desarrolladores a experimentar la configuración automática de recursos a través de IaC. El contenido completo de la plantilla incluye:

Cree un grupo de seguridad para la instancia de ECS.
Implemente el entorno LAMP.
Basado en el entorno LAMP, use el código fuente de PbootCMS para crear un sitio web.

Abra el enlace de la plantilla de configuración con un solo clic [ 6] para ir a la consola de ROS, el sistema abrirá automáticamente el panel para crear pilas de recursos utilizando nuevos recursos y mostrará la información detallada del archivo YAML en el área de contenido de la plantilla.
En la página de selección de plantillas, la consola de ROS muestra de manera predeterminada la región en la que accedió a la consola la última vez. En este experimento, la región debe ser China del Norte 2 (Beijing). Mantenga todas las opciones de la página sin cambios y haga clic en Siguiente para ingresar. la página de parámetros de la plantilla de configuración .

imagen

En la página de parámetros de la plantilla de configuración , modifique el nombre de la pila de recursos, seleccione la instancia de ECS que creó al solicitar una prueba gratuita y modifique la contraseña predeterminada del usuario raíz de la base de datos configurando la contraseña de la base de datos MySQL. Después de completar toda la información requerida y confirmar, haga clic en Crear para iniciar la configuración con un solo clic.

ilustrar:

La instalación de Apache, MySQL y PHP requiere la descarga de aplicaciones a través de Internet, y el tiempo de configuración puede variar debido a razones como la estabilidad de la red. Durante el período de espera, puede comprobar si la configuración está completa actualizando la página de información de la pila de recursos o haciendo clic en la pestaña de eventos para ver el progreso detallado de la configuración.

Si ejecuta repetidamente la plantilla de configuración de un clic de este tutorial en la misma instancia de ECS, asegúrese de que la contraseña de la base de datos MySQL sea exactamente la misma que la contraseña establecida cuando se ejecutó la plantilla por primera vez. De lo contrario, el resultado de la configuración de una tecla no está disponible.

En la página de información de la pila de recursos, espere pacientemente entre 8 y 10 minutos. Cuando el estado muestre que la creación fue exitosa , la configuración de una sola tecla se completará.

En la página Información de la pila de recursos , haga clic en Exportar .

En la pestaña Salida, haga clic en el valor de WebUrl ( http:///admin.php) .

Aparece la página de inicio de sesión de PbootCMS, lo que indica que la configuración de una tecla se realizó correctamente. En PbootCMS, puede personalizar el contenido del sitio web según las necesidades de la empresa, incluida la configuración global, el contenido básico, el contenido del artículo, el contenido extendido, el centro de miembros, etc. Las operaciones posteriores de la consola en este paso son opcionales y se pueden omitir.

(3) Abra el PTS de prueba de rendimiento y cree un escenario para pruebas de estrés y vea informes

Vaya a la consola PTS de pruebas de rendimiento [ 7 ] .
En la barra de navegación izquierda, seleccione Prueba de rendimiento > Crear escenario .

En la página Crear escenario , haga clic en Medición de presión PTS .

imagen

En la página Create PTS Scenario , configure el nombre del escenario , luego en la pestaña Scenario Configuration , ingrese el nombre de API de prueba de presión , como demo, y haga clic en el ícono a la derecha. Introduzca http://:80 en el campo URL de la prueba de presión .

Nota: La dirección IP pública de ECS se puede ver en la página de la instancia de la consola de administración del servidor en la nube [ 8] .

imagen

En la pestaña de configuración de presión, configure los parámetros de medición de tensión relevantes, seleccione incremento automático para el modo de incremento , ingrese 50 para la concurrencia máxima , ingrese 10 para el porcentaje de incremento , ingrese 1 para la duración de un solo nivel e ingrese 5 para la duración total de la prueba de esfuerzo . Después de confirmar los parámetros, haga clic en Guardar para iniciar la prueba de presión .

Nota: configure los parámetros estrictamente de acuerdo con las pautas para evitar cargos inesperados por exceder la cuota de prueba gratuita.

imagen

En el cuadro de diálogo de solicitud , confirme que el consumo estimado de la tarea no supere la cuota libre. Después de confirmar , haga clic en Aceptar para iniciar la prueba de presión .

Espere pacientemente unos 3 minutos y podrá ver los datos de medición de estrés en tiempo real de la aplicación actual en la página de medición de estrés. En la página de la prueba de estrés, puede ver datos generales como la tasa de éxito, RT y TPS.

Una vez completada la prueba de presión, saltará automáticamente a la página de edición de escena y luego hará clic en el informe de prueba de presión .

En la pestaña Informe de prueba de presión, busque su informe de prueba de presión y haga clic en Ver en la columna Operación a la derecha . Obtenga más información sobre el contenido del informe de prueba de esfuerzo en el informe de prueba de esfuerzo.

imagen

Planificación de capacidad y análisis de cuellos de botella de rendimiento

Después de obtener los datos de los resultados de la prueba, es necesario analizar los puntos de cuello de botella en el sistema para prepararse para el ajuste. Los puntos de cuello de botella de rendimiento del sistema se distribuyen principalmente en protección de seguridad, balanceo de carga, aplicaciones back-end, middleware, base de datos, operaciones sistema, hardware En términos de especificaciones, cuellos de botella específicos y detalles de ajuste, espere con interés la serie de artículos "Planificación y ajuste de la capacidad".

imagen