Autor: Zen y el arte de la programación informática
1.1 Antecedentes del sistema inteligente de atención al cliente
Con la popularidad de Internet y la Internet móvil, cada vez más personas comienzan a confiar en el servicio de atención al cliente inteligente para obtener ayuda, y los sistemas de atención al cliente inteligentes se están volviendo cada vez más populares. El sistema inteligente de servicio al cliente puede ayudar a los clientes a resolver diversos problemas de manera rápida y eficiente. Es un medio importante para mejorar la experiencia del cliente, mejorar la calidad del servicio al cliente y reducir los costos operativos.
1.2 ¿Por qué utilizar Transformer?
Los modelos de lenguaje tradicionales generalmente se modelan utilizando el modelo de bolsa de palabras o modelo de n-gramas, que solo puede inferir la probabilidad de aparición de la palabra actual a partir del contexto de las palabras existentes. Sin embargo, debido a la complejidad y diversidad de las representaciones del lenguaje, a estos modelos les resulta difícil capturar asociaciones semánticas, lo que los hace menos efectivos ante los problemas del mundo real. Para superar este dilema, cada vez más investigadores han intentado resolver este problema mediante el aprendizaje profundo. Uno de esos enfoques es el modelo secuencia a secuencia (Seq2Seq) basado en redes neuronales. En comparación con el modelo tradicional Seq2Seq, el modelo Transformer presta más atención a la interacción de información global, por lo que puede lograr mejores resultados en muchas tareas.
2. Explicación de conceptos y términos básicos
2.1 Descripción general de los transformadores
Transformer es una nueva clase de estructura de codificador-decodificador que utiliza un mecanismo de atención, que es la base de GPT (Transformador generativo preentrenado). Fue publicado originalmente en el artículo Attention Is All You Need , que se caracteriza por una capacitación previa de un extremo a otro y ha logrado resultados revolucionarios en muchas tareas de procesamiento del lenguaje natural, como la generación de texto y la traducción automática.