La fuente del texto original: https://developer.aliyun.com/article/1084327?
Las palabras del autor son muy buenas. A primera vista, es un algoritmo senior que ha estado funcionando en el negocio durante muchos años.
Introducción
1. Los tres elementos del brote
2. Aprendizaje profundo
1. Los tres elementos del brote
Este curso presentará cómo crear aplicaciones desde la perspectiva de los arquitectos de IA y las habilidades que necesitan los arquitectos de IA. Se presentará desde dos dimensiones de aprendizaje profundo y aprendizaje automático. La ingeniería de IA se encuentra en un estado dinámico con variabilidad, y muchas personas en la industria la están explorando. El brote de IA está determinado por los siguientes tres elementos de IA:
(1) Capacidades de algoritmos basados en datos
(2) Gran capacidad de datos
(3) Capacidad de ingeniería
Hay datos masivos y poder de cómputo a gran escala, que promueven la innovación de varios algoritmos. Desde la perspectiva de un arquitecto de ingeniería de IA, cómo iterar rápidamente el algoritmo, espero que el ingeniero de algoritmos pueda centrarse en el algoritmo en sí, y que la ingeniería o el arquitecto de IA, o la plataforma de ingeniería puedan resolver el frenado de la IA y puedan lograr Para una mejor plataforma de inteligencia artificial de alta disponibilidad, alto rendimiento y bajo costo, el arquitecto primero debe tener las siguientes capacidades:
(1) Se necesita la base de los algoritmos, porque la ingeniería es acelerar los algoritmos de IA. En muchos casos, los algoritmos de aprendizaje automático o aprendizaje profundo no son como el procesamiento de datos. Son cálculos deterministas y cálculos probabilísticos, porque en última instancia, la esperanza de converger a un modelo con buena precisión, nadie define qué tipo de modelo es el mejor. Si comprende el algoritmo, puede lograr la optimización conjunta del modelo y el sistema, y no está limitado a acelerar el algoritmo. Si hay un método sobre el modelo, puede converger en la misma tendencia en probabilidad Si hay un método sobre matemáticas, de modo que la probabilidad sea equivalente, el efecto de optimización obtenido será mucho mayor que el efecto de excavar en el cálculo en la parte inferior. , por lo que es necesario comprender el algoritmo y el principio del algoritmo, para poder optimizar los puntos de optimización más hábilmente;
(2) Capacidades de big data, debido a que la explosión de la IA se debe a la acumulación de big data, muchos ingenieros de algoritmos, antes de ejecutar el modelo de entrenamiento, primero deben limpiar u organizar los datos. Para respaldar el algoritmo, es necesario para construir una plataforma, que es imposible Lo que falta es la capacidad de tener grandes datos. Cómo hacer cálculos de big data, limpieza de big data, cómo integrar una gran cantidad de datos juntos, hacer preprocesamiento o limpieza de datos, etc. son capacidades muy importantes;
(3) Capacidades de ingeniería A medida que el modelo se vuelve más grande y profundo, habrá más y más requisitos distribuidos para máquinas heterogéneas, y el cálculo de ejecución del modelo a menudo se llevará a cabo, ya sea hacia adelante o hacia adelante y juntos, describirse como un gráfico DAG. La forma de asignar mejor a los siguientes recursos, hardware, E/S de almacenamiento y computación requiere sólidas capacidades de ingeniería.
2. Aprendizaje profundo
El aprendizaje profundo se divide en dos escenarios. El primer escenario son los anuncios de recomendación de búsqueda, y el otro escenario generalmente se denomina percepción, como el habla de imágenes y el procesamiento del lenguaje de área natural. Estas dos categorías tienen los mismos requisitos para los arquitectos de IA, pero también tienen características diferentes.
Promoción de búsqueda, generalmente llamada publicidad de búsqueda y recomendación, en primer lugar, big data, generalmente llamado modelo de big data, porque los datos a menudo son semiestructurados y estructurados, como clics, registros y muchas características dispersas, estos casos a menudo tienen características dispersas muy grandes, y no todas las características son valiosas en la búsqueda. Por ejemplo, si está interesado en una determinada película, tendrá artículos sobre estas películas. Otros no tienen interés en las películas de esta categoría y no tienen carácter. La característica de escasez es común para búsqueda, promoción y promoción;
Hay un proceso de procesamiento de datos complejo, porque la búsqueda, la promoción y la promoción son para estimar y recomendar clics, lo que se denomina puntos de enterramiento al servicio del flujo de datos del flujo de información, procesamiento complejo de datos y disposición de datos relacionados juntos. también será más complicado, porque la búsqueda, la promoción y la promoción suelen ser dinámicas y requieren un alto rendimiento en tiempo real, porque los intereses de las personas no son perceptivos, lo que significa que cuando una persona ve una imagen, la imagen es un gato, entonces es un gato y un perro, entonces es un perro. No cambiará rápidamente, pero los intereses de las personas cambiarán. En búsqueda, promoción y promoción, en tiempo real, miles de personas y miles de caras, aprendizaje en tiempo real, incremental aprendiendo. Es un proyecto comúnmente necesario. Es precisamente debido al aprendizaje en tiempo real, miles de personas y el aprendizaje incremental que el sistema de ingeniería será más complicado, porque el modelo estará en el estado de aprendizaje todo el tiempo, y los nuevos debe actualizarse todo el tiempo. El modelo se empuja a la línea. En este escenario, la elección del terreno es difícil de determinar.
Si es el resultado de un reconocimiento de voz, es fácil saber cuánta desviación hay entre el resultado y el valor correcto, y solo puede representarse a sí mismo en la recomendación. El efecto del modelo real en todo el negocio requiere mucha verificación en el sistema en línea, pero para verificar el sistema en línea, hay muchos procesos muy complicados en el sistema de ingeniería, que incluyen cómo hacer el tubo de ensayo, escala de grises, cómo para recopilar los resultados para evaluar la actualización del modelo tendrá requisitos más altos para el sistema de ingeniería.Al mismo tiempo, debido a que es un entrenamiento de características escasas a gran escala, en primer lugar, los datos son grandes y una mejor Se requiere un marco de entrenamiento distribuido. Al mismo tiempo, debido a que el modelo es grande, hay características dispersas muy grandes, y se utilizará el modelo del marco de entrenamiento llamado servidor de parámetros. El modelo en sí no se puede colocar en un nodo, especialmente en un gran incrustación, por lo que es necesario colocar el modelo en esta capa de incrustación y usar el almacenamiento de ParameterServer distribuido para administrar, el servidor walker obtiene el modelo o los parámetros que se entrenarán para el entrenamiento, por lo que generalmente es una arquitectura de ParameterServer, y debido a que es muy escaso, para mejorar la tasa de aceleración del entrenamiento, se utilizará un método de entrenamiento asíncrono distribuido en lugar de un método de entrenamiento síncrono.
Por el contrario, en la clase de percepción del procesamiento del lenguaje natural del habla, a menudo no es un modelo disperso, sino uno denso, por lo que requiere una gran potencia informática, y este tipo de modelo suele tener muchos operadores muy densos, como el operador de convolución. , que La relación de aceleración de entrenamiento y los requisitos de optimización de inferencia son muy altos, porque el modelo final es muy profundo y tiene cálculos de alta densidad.Cómo mejorar el aterrizaje, es decir, el rendimiento en la inferencia, la relación de aceleración de entrenamiento utiliza muchos clústeres de GPU para la capacitación, cómo mejorar El efecto de la capacitación, esta categoría es muy importante para el etiquetado de datos. La tendencia actual es utilizar métodos de aprendizaje semisupervisado o de autoaprendizaje para reducir el etiquetado, pero sigue siendo importante para la calidad del etiquetado.
Procesamiento de lenguaje natural, ahora más que entrenar BASE MODEL por sí mismo, pero es mejor si tiene la capacidad, el poder de cómputo o el costo de entrenar un modelo base más grande.
Por lo general, el aprendizaje de transferencia se realiza en la propia escena vertical a través del MODELO BASE de otras personas.Los anteriores son los problemas que los arquitectos de IA actuales deben considerar. En términos de capacitación, hay una gran cantidad de puntos de referencia para las clasificaciones. Por ejemplo, nuestro propio modelo puede lograr una mayor precisión en el conjunto estándar que los modelos de otras personas.
La competencia tiene que ver con estudiar cómo hacer que la precisión del modelo sea alta, por lo que una gran cantidad de ingenieros de algoritmos usarán un marco de entrenamiento sincrónico. Debido a que la precisión puede estar más garantizada, generalmente realizarán un entrenamiento basado en el marco ALLreduce. Estos dos escenarios están respaldados por marcos de aprendizaje profundo, que incluyen principalmente los siguientes dos tipos de marcos
(1) tinselflo
(2) pétalos
En búsqueda, promoción y promoción, la plataforma debe integrarse, porque los datos son complejos y se necesita una mejor plataforma para limpiar los datos. A veces habrá datos sucios en los datos, porque la búsqueda, promoción y promoción la plataforma es a menudo más en tiempo real. En una situación más dinámica, los datos se cargarán y los servicios se actualizarán continuamente. A veces, los servicios pueden causar errores y datos sucios. Por lo tanto, se necesita una plataforma de big data más conveniente para el procesamiento de datos. La segunda tendencia es el modelo en tiempo real, y los intereses de las personas cambiarán.
Es muy relevante para el negocio. Cada industria y cada persona tiene una comprensión diferente de su propio negocio. A menudo, en el modelo, el lado comercial necesita dominar las habilidades de selección de funciones y ajuste del modelo, mientras que los ingenieros solo brindan herramientas, plataformas, y la aplicabilidad permite un ajuste rápido del modelo.
Finalmente, el sistema de ingeniería será más complicado. Sobre esta base, Ali creó una plataforma de aprendizaje automático en línea basada en PAI, de miles de personas a más en tiempo real.
La plataforma incluye motores de big data, computación en tiempo real y motores de computación fuera de línea. Hay un parpadeo en la plataforma informática, que integra la aplicabilidad de big data en la comunidad flink. En la computación fuera de línea, hay computación fuera de línea de gran escala. El motor combina estos dos tipos de características para generar una biblioteca de muestra, es compatible con plataformas de entrenamiento dispersas a gran escala, tiene un motor de entrenamiento profundamente optimizado y continúa con el entrenamiento en línea. Durante el entrenamiento, habrá una generación constante de instantáneas delta. se realizará verificación, despliegue final, observación en línea, retroalimentación, etc.
El marco anterior es necesario siempre que sea para búsqueda, promoción y promoción. Este conjunto de sistemas de ingeniería es replicable, pero para cada industria, la comprensión del negocio es diferente.
Para Ali, el negocio es el comercio electrónico, pero la recomendación de búsqueda comercial y los objetivos publicitarios no son nuevos minoristas, puede ser entretenimiento o la industria necesita hacer algoritmos y compartir experiencias, pero habrá brechas entre las industrias, como transmisión de video en vivo, Pero el software, las audiencias y los grupos objetivo son diferentes. Debido a que tienen sus propias estrategias de operación, necesitan dominar la capacidad de ajuste de algoritmos, pero los arquitectos pueden ayudar en la ingeniería. Lo anterior también es la razón para recomendar soluciones. Debido a que el proyecto en búsqueda, promoción y promoción es muy complicado, el arquitecto conectará el proceso del proyecto en serie, y el algoritmo intermedio y el método de ajuste intermedio estarán facultados para el usuario, y el usuario básicamente puede ser responsable de su propio negocio.
La imagen de arriba es solo para expandir la imagen, por ejemplo, ¿cómo almacenar datos de usuario? ¿Cómo almacenar datos de materiales? ¿Cómo se almacenan los datos de comportamiento? ¿Cómo combinarlo con el motor de big data? ¿Como entrenar? ¿Cómo publicar en el módulo de clasificación de retiros durante el entrenamiento? ¿Cómo hacer servicios en tiempo real? División y así sucesivamente. Debido a que sirve para la búsqueda y recomendación de Ali, Ali tiene una gran audiencia de usuarios.
El nodo Double 11 tiene muchos usuarios, muchos materiales, mercancías, comerciantes y personas, y el modelo es muy grande. Ahora, las recomendaciones de búsqueda y los anuncios se están introduciendo lentamente desde la regresión logística original hasta el aprendizaje profundo. Los marcos existentes han encontrado muchos cuellos de botella en volúmenes a gran escala, como el entrenamiento distribuido, que no se puede distribuir a miles de nodos para entrenamiento, o se puede distribuir a miles de nodos para entrenamiento, pero la eficiencia del entrenamiento no es buena. Debido a esta demanda, las empresas se ven obligadas a seguir optimizando.
Es precisamente debido a la demanda que la versión profundamente optimizada de Tensorflow, llamada PAI-Tensorflow, se integra con los operadores de comunicación, y ¿cómo empujar hacia abajo en función de los operadores de comunicación? En el marco de la carrera, debido a que habrá miles de caminantes entrenando al mismo tiempo, la presión en el lado del PS será grande. Cómo mejorar la estabilidad del PS, cómo usar las características de los spas para la comunicación, cómo la biblioteca en ejecución y optimizarla para que la escala se pueda escalar El entrenamiento a miles de nodos puede lograr una mayor aceleración que la versión de Kaiyuan y ha logrado una mayor mejora Los datos anteriores son muy buenos que se lograron en la Conferencia Yunqi el año pasado.
Debido a los requisitos en tiempo real, el modelo se actualizará continuamente. Requisitos del modelo Al mismo tiempo, debido a que el entrenamiento se realiza todo el tiempo, las funciones no son fijas y el motor debe admitir cambios dinámicos de funciones para poder entrenar de forma continua en tiempo real, por lo que también se utilizarán funciones como la integración dinámica. ser lanzado en el motor. En este campo, trabajamos en estrecha colaboración con el equipo de Google para hacer retroceder activamente la capacidad de la escasez a gran escala y el INBED dinámico en tiempo real para la comunidad y empoderar a más usuarios.
Vaya directamente a la plataforma de aprendizaje automático de Alibaba Cloud, use directamente el marco optimizado y admita el entrenamiento de modelos dispersos a gran escala.
El contenido anterior son los problemas que los arquitectos de IA deben tener en cuenta en la búsqueda, la promoción y la promoción. Por ejemplo, deben observar escenarios y requisitos comerciales, y es posible que deban considerar en algunos lugares. El siguiente capítulo trata sobre el aprendizaje profundo en lenguaje de imágenes y matemáticas naturales Los requisitos de habilidad son diferentes.