Interactúo regularmente con colegas de diferentes campos y disfruto el desafío de transmitir conceptos de aprendizaje automático a personas con poca experiencia en ciencia de datos. Aquí intento explicar en términos sencillos cómo se conecta GPT, sólo que esta vez por escrito.
Detrás de la magia de la popularidad de ChatGPT se esconde una lógica impopular. Escribes un mensaje en ChatGPT y genera un texto que se asemeja a una respuesta humana, ya sea exacto o no. ¿Cómo es capaz de comprender sus indicaciones y generar respuestas coherentes y comprensibles?
Red neuronal transformadora. La arquitectura está diseñada para manejar grandes volúmenes de datos no estructurados (texto en nuestro caso). Cuando decimos arquitectura, nos referimos esencialmente a una serie de operaciones matemáticas realizadas en paralelo en múltiples capas. A través de este conjunto de ecuaciones, se introducen varias innovaciones que nos ayudan a superar desafíos de larga data en la generación de texto. Luchamos con estos desafíos hasta hace 5 años.
Si GPT existe desde hace 5 años (de hecho, el artículo de GPT se publicó en 2018), ¿no es GPT una noticia vieja? ¿Por qué se ha vuelto tan popular recientemente? ¿Cuál es la diferencia entre GPT 1, 2, 3, 3.5 (ChatGPT) y 4?
Todas las versiones de GPT se basan en la misma arquitectura. Sin embargo, cada uno de los siguientes modelos contiene más parámetros y está entrenado con conjuntos de datos de texto más grandes. Claramente, versiones posteriores de GPT introdujeron otras novedades, especialmente durante el entrenamiento, como el aprendizaje por refuerzo con retroalimentación humana, que explicaremos en la tercera parte de esta serie de blogs.
Vectores, matrices, tensores. Todas esas palabras elegantes son esencialmente celdas que contienen bloques de números. Estos números se someten a una serie de operaciones matemáticas (principalmente multiplicación y suma) hasta que alcanzan un valor de salida óptimo, que es la probabilidad de un posible resultado.
valor de salida? En ese sentido, es el texto generado por el modelo de lenguaje, ¿verdad? Sí. Entonces, ¿cuál es el valor de entrada? ¿Es mi propina? Sí, pero no del todo. Entonces, ¿qué hay detrás?