Espero que me corrijan por cualquier error de escritura, error tipográfico, error conceptual, etc.
Antes de leer este artículo, se recomienda aprender:
[Aprendizaje automático] Estimación del contraste de ruido (NCE)
[Visión por computadora] Explicación de MoCo sobre el "aprendizaje contrastivo"
[Visión por computadora] Explicación de PixelRNN
Partido Comunista de China
Descripción general
Contrastove Predictive Coding (CPC) es un marco de codificación basado en el aprendizaje no supervisado que predice información futura y se utiliza para obtener representaciones de características (vectores) con gran versatilidad. El codificador de características del modelo codifica cada momento de los datos de "secuencia" en el espacio latente, y el potente modelo autorregresivo predice las características latentes de momentos futuros. El modelo se entrena de extremo a extremo mediante variantes de estimación de contraste de ruido para lograr indirecto Maximizar la información mutua (Información mutua, MI) entre la información de contexto en el momento actual y los datos futuros.
El modelo de codificación predictiva comparativa tiene una mayor capacidad de generalización y versatilidad que los modelos propuestos por académicos anteriores. El método del autor ha demostrado ser eficaz en cuatro campos diferentes (habla, imagen, texto y aprendizaje reforzado en entornos 3D) y ha logrado buenos resultados.
Pensamiento
Método de extracción manual de características