1. Introducción de antecedentes de migración de modelos, depuración y ajuste de modelos
Problemas que se pueden encontrar durante el entrenamiento/razonamiento del modelo:
• Errores de escritura de código, problemas difíciles de localizar;
• Errores de estructura del modelo;
• Errores de actualización de peso;
• Errores de diseño de función de pérdida;
• Desbordamiento de cálculo de precisión media
;
• Sobreajuste, ajuste insuficiente;
• Desaparición/explosión del gradiente;
• Saturación del valor de activación;
• Configuración incorrecta de la tasa de aprendizaje;
• Configuración incorrecta del tamaño y período del lote (época);
• Entrenamiento/razonamiento lento del modelo;
• …
2. Introducción a MindSpore
Características clave
1. Paralelismo automático: segmente gráficos completos dinámicos, perciba la topología de clúster y logre una sobrecarga de comunicación mínima Paralelismo de datos y paralelismo de modelo: 2. Optimización de segundo orden: use cálculos de segundo orden
para corregir la dirección de actualización del gradiente y encontrar la dirección óptima camino de descenso para gradientes de entrenamiento, acelerando así el proceso de convergencia de entrenamiento.
3. Combinación de gráficos dinámicos y estáticos: el motor de diferenciación automática unificado admite gráficos dinámicos y estáticos, y una línea de código completa el cambio de modo, teniendo en cuenta el desarrollo del modelo y la eficiencia de ejecución.
4. Colaboración de implementación de escenario completo: tecnología ultraligera, compresión de modelos, tiempo de ejecución ultraligero de loT de generación de modelos adaptativos, basado en paralelismo híbrido heterogéneo.
5. Aceleración colaborativa de pila completa: a través de la optimización gráfica profunda, como el paralelismo multinivel y la fusión de computación gráfica, así como la tecnología de multiplexación de memoria entre capas, se ejerce el máximo rendimiento de Yiteng 6. Herramientas de migración y depuración: cobertura migración ecológica
, ajuste de precisión, rendimiento Optimice la visualización de toda la escena, automatice la migración de guiones, reduzca el umbral de desarrollo y mejore la eficiencia de depuración 7.
Computación científica AI+, innovación de aplicaciones de escena, amplíe los límites de MindSpore
8. Seguro y confiable, el primer marco de computación confiable de IA de nivel empresarial (IA confiable)
3. Introducción a MindInsight
Resumen de este capítulo
• Problemas comunes de depuración y ajuste: overfitting, underfitting, etc.. • Características clave
de MindSpore:
– Paralelismo automático
– Optimización de segundo
orden – Depurador de precisión – Depurador de rendimiento – Visualización del proceso de entrenamiento – Interpretabilidad del modelo