Espero que me corrijan por cualquier error de escritura, error tipográfico, error conceptual, etc.
Antes de leer este artículo, se recomienda estudiar:
[Aprendizaje automático] Estimación del contraste de ruido (NCE)
[Visión por computadora] Explicación de MoCo
[Visión por computadora] Explicación de InstDis
InvaSpread
En InvaSpread, el número de muestras negativas está limitado por el tamaño del lote. El autor no tiene una TPU, por lo que solo seleccionó 256 como tamaño de lote, lo que en última instancia limita el rendimiento del modelo. La siguiente serie SimCLR fue propuesta por el equipo de Hinton. SimCLR_v1 es esencialmente lo mismo que InvaSpread, excepto que SimCLR_v1 usa TPU, lo que permite un tamaño de lote más grande. Hasta cierto punto, su efecto es mejor que InvaSpread y también es más famoso que InvaSpread.
Pensamiento
La mayor diferencia entre el aprendizaje integrado no supervisado y el aprendizaje general de funciones no supervisado es que el primero requiere que la similitud entre las incrustaciones sea consistente con la similitud visual o la relación de categoría de las imágenes de entrada . Específicamente, si "taza de té" y "taza de agua portátil" pertenecen a la misma categoría, y "cielo azul" y "océano" son visualmente similares, entonces sus vectores de incrustación correspondientes estarán más cerca. El propósito de los métodos generales de aprendizaje de funciones no supervisados.