Cuando se usa un transformador para cargar parámetros de codificador T5 previamente entrenados, a menudo aparece:
Some weights of T5EncoderModel were not initialized from the model checkpoint
at t5-large and are newly initialized: ['encoder.embed_tokens.weight']
Este ['encoder.embed_tokens.weight']parámetro, como sugiere su nombre, es el peso de incrustación del codificador.
Muchas personas se preocupan por si la inicialización aleatoria de la incrustación afectará el rendimiento del modelo cuando ven esta advertencia.
Después de muchas investigaciones por parte del autor, esta ['encoder.embed_tokens.weight']inicialización no tiene impacto en el rendimiento del modelo y puede ignorarse.
Si desea evitar este error, actualice el transformador a la última versión.
Para obtener más información, consulte: Advertencia al cargar codificadores T5