A diferencia de otros algoritmos diseñados artificialmente, como Adam y AdaGrad, VeLO se basa completamente en la estructura de IA y se puede adaptar bien a diversas tareas.
diseño
Basado en la idea del metaaprendizaje (experiencia de aprendizaje de tareas relacionadas para ayudar a aprender tareas objetivo), VeLO absorberá gradientes y generará automáticamente actualizaciones de parámetros sin ningún ajuste de hiperparámetro, y se adaptará a diversas tareas que deben optimizarse.
arquitectura
El optimizador VeLO en su conjunto está compuesto por LSTM (red de memoria a largo plazo) y MLP (perceptrón multicapa) de superred. Cada LSTM es responsable de establecer los parámetros de múltiples MLP, y cada LSTM coopera entre sí a través de la información de contexto global.
tren
El optimizador VeLO adopta el método de metaentrenamiento, toma valores de parámetros y gradientes como entrada y genera los parámetros que deben actualizarse. Después de entrenar durante 4000 meses de TPU (una TPU ejecuta 4000 meses de cálculos) e integrar las fortalezas de varias tareas de optimización, nació VeLO.
En comparación con los optimizadores de ajuste de parámetros manuales
Los resultados muestran que VeLO supera una variedad de optimizadores actualmente disponibles en 83 tareas. En comparación con Adam, VeLO tiene una aceleración de entrenamiento más rápida en todas las tareas. Más del 50 % de las tareas son más de 4 veces más rápidas que Adam. En más del 14 % de las tareas, VeLO es incluso 16 veces más rápida.
Cómo usar VeLO
Esta colaboración demuestra cómo cargar VeLO y usarlo para algunas tareas comunes.
Dirección de GitHub:
https://github.com/google/learned_optimization/tree/main/learned_optimization/research/general_lopt
Dirección en papel:
https://arxiv.org/abs/2211.09760