Os transformadores são um novo desenvolvimento no aprendizado de máquina que tem atraído muita atenção recentemente. Eles são muito bons em acompanhar o contexto, e é por isso que o texto que escrevem faz sentido. Neste capítulo, revisamos sua arquitetura e como eles funcionam.
Os modelos de transformadores são um dos novos desenvolvimentos mais interessantes no campo do aprendizado de máquina. Eles são apresentados no artigo "Atenção é tudo que você precisa". Os Transformers podem ser usados para escrever histórias, ensaios, poemas, responder perguntas, traduzir entre idiomas, conversar com humanos e até mesmo passar em exames que são difíceis para humanos! Mas o que são eles? Você ficará feliz em saber que a arquitetura do modelo Transformer não é tão complicada, é apenas uma concatenação de alguns componentes muito úteis, cada um com sua própria funcionalidade. Neste capítulo, você aprenderá sobre todos esses componentes.
Resumindo, o que um transformador faz? Imagine que você está escrevendo uma mensagem de texto no seu telefone. Após cada palavra, você poderá receber três sugestões de palavras. Por exemplo, se você digitar "Olá, como vai", o telefone poderá sugerir palavras como "você" ou "seu" como a próxima palavra. Claro, se você continuar escolhendo as palavras sugeridas em seu telefone, descobrirá rapidamente que as mensagens que elas formam não fazem sentido. Se você olhar para cada grupo de 3 ou 4 palavras consecutivas, pode fazer sentido, mas as palavras não se conectam a nada significativo. Isso porque o modelo usado no telefone não inclui o contexto geral da mensagem, apenas prevê qual palavra tem maior probabilidade de aparecer após as últimas palavras. Os transformadores, por outro lado, acompanham o contexto do que está sendo escrito,
Os telefones podem sugerir a próxima palavra a ser usada em uma mensagem de texto, mas não podem gerar um texto coerente.
Devo dizer-lhe honestamente,