Autor: Zen e a arte da programação de computadores
1.1 Antecedentes do sistema inteligente de atendimento ao cliente
Com a popularidade da Internet e da Internet móvel, mais e mais pessoas começam a contar com o atendimento inteligente ao cliente para obter ajuda, e os sistemas inteligentes de atendimento ao cliente estão se tornando cada vez mais populares. O sistema inteligente de atendimento ao cliente pode ajudar os clientes a resolver vários problemas de forma rápida e eficiente, sendo um meio importante para aprimorar a experiência do cliente, melhorar a qualidade do atendimento ao cliente e reduzir custos operacionais.
1.2 Por que usar o Transformer?
Os modelos de linguagem tradicional são geralmente modelados usando o modelo Bag of Words ou modelo n-gram, que só pode inferir a probabilidade de ocorrência da palavra atual a partir do contexto das palavras existentes. No entanto, devido à complexidade e diversidade das representações linguísticas, é difícil para estes modelos capturar associações semânticas, tornando-os menos eficazes face aos problemas do mundo real. Para superar este dilema, cada vez mais investigadores têm tentado recentemente resolver este problema através da aprendizagem profunda. Uma dessas abordagens é o modelo sequência a sequência (Seq2Seq) baseado em redes neurais. Comparado com o modelo Seq2Seq tradicional, o modelo Transformer presta mais atenção à interação global da informação, para que possa obter melhores resultados em muitas tarefas.
2. Explicação de conceitos e termos básicos
2.1 Visão Geral do Transformador
Transformer é uma nova classe de estrutura codificador-decodificador que utiliza mecanismo de atenção, que é a base do GPT (Transformador Generativo Pré-treinado). Foi publicado originalmente pelo jornal Attention Is All You Need , que se caracteriza pelo pré-treinamento de ponta a ponta e alcançou resultados inovadores em muitas tarefas de processamento de linguagem natural, como geração de texto e tradução automática.