YARN (Yet Another Resource Negotiator) es un programador de recursos en el ecosistema Hadoop , que se utiliza principalmente para la gestión de recursos y la programación de trabajos. YARN en sí tiene una función de administración de colas : Al configurar y administrar la cola de recursos de YARN, los recursos del clúster se asignan para satisfacer las necesidades de diferentes aplicaciones y usuarios. La introducción de YARN ha aportado enormes beneficios al clúster en términos de utilización, gestión unificada de recursos e intercambio de datos.
En un entorno de big data, las empresas suelen tener varias aplicaciones ejecutándose simultáneamente, y estas aplicaciones pueden tener diferentes requisitos y prioridades de recursos. Para asignar y gestionar razonablemente los recursos y evitar la competencia y los conflictos por los recursos, es necesario dividir y programar los recursos.
Este artículo presentará varios métodos de división de recursos y gestión de colas, así como la función de gestión de colas del recientemente lanzado YARN de EasyMR y cómo proporcionar a los usuarios una experiencia de gestión de colas más eficiente y conveniente a través de la gestión de interfaz visual .
Método de división de recursos
En el campo de big data, los métodos comunes de división de recursos suelen incluir los siguientes:
Categorizar por tipo de aplicación o características
Por ejemplo, puede colocar aplicaciones con uso intensivo de CPU en una cola y aplicaciones con uso intensivo de memoria en otra cola. De esta manera, puede garantizar que los diferentes tipos de aplicaciones obtengan los recursos que necesitan y evitar el desperdicio y el desequilibrio de recursos.
Clasificar aplicaciones por prioridad
Para algunas tareas importantes o de emergencia, puede asignarles cuotas de recursos y prioridades más altas para garantizar que puedan recibir una respuesta oportuna y un procesamiento prioritario. Para algunas tareas menores o de baja prioridad, se les pueden asignar cuotas de recursos más bajas para garantizar la eficiencia de ejecución y la prioridad de otras tareas importantes.
Categorizar por necesidades de departamento o equipo
Diferentes departamentos pueden tener diferentes requisitos de recursos. Al asignar colas de recursos independientes a diferentes departamentos, puede garantizar que cada departamento pueda administrar y asignar sus propios recursos de forma independiente sin interferir ni afectarse entre sí.
Aunque YARN en sí tiene una función de administración de colas, en el uso real, YARN solo puede administrar colas de recursos a través de archivos de configuración, lo cual es relativamente engorroso y requiere ciertos conocimientos técnicos.
CDH y HDP
Las plataformas de datos básicas de código abierto preferidas de la industria son CDH y HDP basadas en tecnología distribuida Hadoop.
CDH（Administrador de Cloudear）
● Estrategia de participación justa
Cloudear Manager de CDH adopta la estrategia Fair Share : el peso y la prioridad de cada usuario u organización deben determinarse de antemano, y los administradores deben tener una buena comprensión del uso del sistema. Si estas configuraciones no son razonables, es posible que algunos usuarios u organizaciones no tengan suficientes recursos para realizar tareas durante mucho tiempo.
● Impacto en la eficiencia de la programación
Cuando se envían varias tareas o trabajos al mismo tiempo, el algoritmo Fair Share requiere cálculos complejos, lo que resulta en una disminución en la eficiencia de la programación.
HDP (Ambarí)
● Gestión de la complejidad
Ambari utiliza la función de arrastrar y soltar visual para ajustar los recursos, lo cual es fácil de operar. Sin embargo, la cola de recursos de Yarn debe garantizar que la suma de los recursos de la cola en el mismo nivel sea igual al 100%. Por lo tanto, al ajustar un solo recurso de la cola, se deben ajustar otros recursos de la cola para garantizar que la suma de los recursos de la cola sea igual a 100%, lo que resulta en una alta complejidad de gestión.
● Equilibrio de recursos
Para garantizar que la suma de los recursos de la cola en el mismo nivel sea igual al 100%, al crear o eliminar una cola, debe ajustar otros recursos de la cola para garantizar los recursos de la cola.
Función de gestión de colas de recursos Yarn de EasyMR
Con base en las ventajas y desventajas anteriores, para mejorar la experiencia de administración de colas y proporcionar una visualización de información más intuitiva y detallada y una interfaz de operación simple y clara para la administración de recursos de la cola, EasyMR lanzó la función de administración de colas de Yarn para la administración de la interfaz visual, mejorando su flexibilidad , disponibilidad y escalabilidad.
Funciones de gestión de colas de recursos Yarn de EasyMR
● Estrategia de capacidad
Según las políticas de capacidad máxima y mínima de recursos , el uso de recursos de la cola es limitado. Los usuarios o departamentos pueden crear sus propias colas de recursos exclusivas de acuerdo con sus propias necesidades comerciales .
● Cola independiente
Al ajustar el tamaño de los recursos de la cola o al crear o eliminar una cola, no es necesario ajustar el tamaño de otros recursos de la cola, solo necesita asegurarse de que los recursos de todas las subcolas bajo la misma cola principal sean menores o iguales a 100%.
● Conexión de usuarios
Admite el acoplamiento con sistemas de usuarios LDAP y OAuth. Al vincular usuarios y grupos de usuarios a la cola de hojas de cola de recursos de Yarn, se implementa el control de acceso y la asignación de recursos en función de los usuarios y grupos de usuarios para garantizar la seguridad de los recursos.
Cola hoja : se refiere a una cola que no se puede asignar a subcolas. Se puede usar directamente para asignar recursos a las aplicaciones. En las colas hoja, las aplicaciones se pueden ejecutar directamente o colocarse en la cola de asignación predeterminada para su programación.
Cola no hoja : las subcolas se pueden reasignar para dividir aún más los recursos y administrarlos. No se admite el envío de solicitudes y tareas. Por ejemplo, puede colocar aplicaciones con uso intensivo de CPU y aplicaciones con uso intensivo de memoria en subcolas separadas y asignarles diferentes cuotas y prioridades de recursos.
Cola principal : generalmente una cola que no es hoja, contiene múltiples subcolas y controla la asignación de recursos y la prioridad de estas subcolas. Por ejemplo, una cola principal puede contener varias subcolas "memoria", "cpu", etc. Al establecer diferentes cuotas de recursos y prioridades para diferentes subcolas, los recursos en el clúster se pueden administrar mejor.
Subcolas : son parte de la cola principal, heredan todas las propiedades de la cola principal y tienen sus propias cuotas de recursos, prioridades y otras propiedades. Las aplicaciones que pueden ejecutarse en subcolas no admiten la creación de subcolas nuevamente.
Cómo EasyMR crea la cola de recursos de Yarn se describe en detalle en el artículo anterior " Cómo el motor informático de big data EasyMR gestiona la cola de recursos de Yarn de manera simple y eficiente ", haga clic para leer.
En el futuro, EasyMR continuará optimizando la gestión de colas de recursos de Yarn, mejorando la auditoría de seguridad y el monitoreo de colas de recursos, y formulando mejores estrategias de asignación de recursos haciendo coincidir las colas de recursos con los antecedentes de la demanda para satisfacer mejor las necesidades de las empresas en entornos de big data. Gestión de recursos y requisitos de programación.
"Informe técnico del producto Dtstack": https://www.dtstack.com/resources/1004?src=szsm
Dirección de descarga del "Libro técnico sobre prácticas de la industria de gobernanza de datos": https://www.dtstack.com/resources/1001?src=szsm Amigos que quieran saber o consultar más sobre los productos de big data, las soluciones industriales y los casos de clientes de Kangaroo Cloud, navegue por el sitio web oficial de Kangaroo Cloud: https://www.dtstack.com/?src=szkyzg
Al mismo tiempo, los estudiantes interesados en proyectos de código abierto de big data pueden unirse a "Kangaroo Cloud Open Source Framework DingTalk Technology qun" para intercambiar la información más reciente sobre tecnología de código abierto, número de qun: 30537511, dirección del proyecto: https: // github.com/DTStack
Alibaba Cloud sufrió un grave fallo que afectó a todos los productos (ha sido restaurado). El sistema operativo ruso Aurora OS 5.0, una nueva interfaz de usuario, se presentó en Tumblr. Muchas empresas de Internet reclutaron urgentemente programadores de Hongmeng . .NET 8 es oficialmente GA, el último Versión LTS Tiempo UNIX A punto de ingresar a la era de los 1.7 mil millones (ya ingresó), Xiaomi anunció oficialmente que Xiaomi Vela es completamente de código abierto y el kernel subyacente es .NET 8 en NuttX Linux. El tamaño independiente se reduce en un 50%. FFmpeg 6.1 " Se lanza Heaviside". Microsoft lanza una nueva "aplicación para Windows"