En la comunicación en línea con los pares de TC sobre la práctica de AIGC la semana pasada, un punto de entrada práctico que generalmente preocupa a todos es: el despliegue de privatización de modelos de lenguaje; en términos simples, es implementar un "ChatGPT" propio dentro de la empresa ", tiene una comprensión completa de la industria/conocimiento profesional, así como de la información técnica y del producto exclusivo de la empresa, y proporciona una interfaz de usuario para responder a las preguntas de los usuarios internos y externos a través de la comunicación en lenguaje natural.
De hecho, en los intercambios de un solo punto anteriores/posteriores, amigos de diferentes industrias también me hicieron la misma pregunta. Se puede ver que después de que alguien haya experimentado la súper capacidad lingüística de ChatGPT, no es difícil darse cuenta de que este método de interacción definitivamente se convertirá en un escenario de aplicación muy importante en el futuro.
Durante este período de tiempo, pasé mucho tiempo investigando y, dado que nuestra empresa se dedica principalmente a equipos y software informáticos de inteligencia artificial, y yo tengo la formación técnica pertinente, me comuniqué con el líder de I+D y el gerente de producto. por separado para ver si tienen la oportunidad de ser los primeros en implementar y aterrizar una aplicación interna.
Permítanme ordenar el contexto relevante aquí y hacer un intercambio simple, con la esperanza de inspirar a los amigos que tienen el mismo problema.
主题图Prompt: Despliegue de privatización de modelos de lenguajes grandes. estilo tecnológico. --ar 16:9
análisis fundamental
Los escenarios de aplicación para el despliegue privatizado de modelos de lenguaje son obvios.
Los escenarios típicos incluyen:
Base de conocimientos interna: proporcione una plataforma para compartir conocimientos dentro de la empresa.
Robot inteligente de servicio al cliente: proporciona una interfaz de usuario para obtener información técnica o del producto.
Robot de consulta de expertos: proporcione servicios de consulta en campos profesionales como atención médica y abogados.
El ámbito de aplicación es muy amplio y cubre casi todas las industrias de consultoría profesional, así como todas las empresas que exportan productos y servicios al mundo exterior. Sin mencionar el valor de la aplicación:
Innovación tecnológica, promover de manera integral el proceso de IA. La llamada "Cuarta Revolución Industrial" tiene un significado histórico;
Reducir costes y aumentar la eficiencia. Dado que la IA puede completar tareas de manera rápida y adecuada, naturalmente no es necesario pagar costos de mano de obra.
Los recursos relevantes para habilitar la implementación incluyen:
Hardware: LLM tiene requisitos relativamente altos para el poder de cómputo.
Modelos: hay disponibles modelos gratuitos de código abierto.
Corpus: incluye, entre otros, información industrial/profesional e información técnica/de productos empresariales.
Algoritmo: se requieren ingenieros de algoritmos más profesionales para participar en el entrenamiento/ajuste fino del modelo.
Punto de vista de I+D
Desde la perspectiva de la investigación y el desarrollo, la implementación del despliegue privatizado de modelos lingüísticos sigue siendo muy prometedora.
La arquitectura del sistema para realizar el despliegue privatizado del modelo de lenguaje incluye principalmente:
LLM: modelo de lenguaje;
KB: base de conocimiento;
Marco: enlace LLM y KB;
IU: interfaz de usuario.
Entre ellos, LLM se puede implementar de dos maneras:
Use el modelo público: use OpenAI GPT-3.5 llamando a la interfaz API
Utilice el modelo de código abierto: utilice el modelo de código abierto ChatGLM, pero el código abierto no está disponible comercialmente. Referencia:
https://github.com/imClumsyPanda/langchain-ChatGLM
La lógica de despliegue es la siguiente:
Implementar lógica usando un modelo común
Implemente la lógica utilizando modelos de código abierto
La entrada de KB es el corpus, y luego, después de una serie de procesamiento, se convierte en el conocimiento que puede llamar LLM.
La preparación del corpus es relativamente simple, solo debe asegurarse de que el contenido sea información de texto sin formato (sin incluir estilos) almacenada en formato TXT o Markdown.
En otras palabras, si usa un sistema de contenido de tipo xml, debería ser más fácil hacer la integración del sistema; si usa un documento de tipo Word, debe convertirlo en información de texto sin formato que no contiene estilos, y hacer lo necesario. limpieza de datos para evitar ocurrencias después de la conversión.
vista del producto
La opinión del gerente de producto es muy diferente a la del líder de I+D y tiende a ser relativamente pesimista. En su opinión:
Los modelos de lenguaje adoptados por ChatGPT y Wenxin Yiyan existentes tienen una gran cantidad de parámetros de peso, y se ha invertido un gran costo de desarrollo en el corpus; este es definitivamente un modelo de código abierto y un conjunto de datos que no se pueden comparar.
Aun así, el efecto real de ChatGPT y Wenxinyiyan para responder preguntas no es del todo satisfactorio, y mucho menos la aplicación desarrollada por la empresa basada en el modelo de código abierto.
En tercer lugar, el desarrollo del corpus también implicará un costo de entrada relativamente grande, sin mencionar la información profesional en la industria, incluso la información centrada en los productos y tecnologías de la empresa puede requerir una gran cantidad de trabajo.
Por lo tanto, dependiendo del costo de entrada y el efecto de realización, puede que no valga la pena hacer tal intento.
En el futuro, la forma más esperanzadora para que las empresas logren el aterrizaje es que cuando Wenxinyiyan u otras aplicaciones similares finalmente logren un efecto de salida relativamente bueno, pueden exportar el apoyo comercial al mundo exterior.Por supuesto, deben pagar. Para las empresas ordinarias, esta puede ser una forma relativamente económica.
Resumir
El contenido anterior se basa en mi visión y comprensión limitadas y es solo para referencia. Si su empresa encontró una solución de bajo costo y alto rendimiento, la implementó y la aplicó, espero escuchar su opinión.
Artículos relacionados: #AIGC en la práctica
Otras recomendaciones:
La comunicación tecnológica es un océano azul | La comunicación tecnológica
Entrevista: TC está en todas partes, pero no nos damos cuenta | Tecnología Comunicación
Esta vez acordaron "decir la verdad" | Comunicación
Deja de discutir aquí, tú y yo | Tecnología Comunicación
Un manual para cultivar pacientes con trastorno obsesivo-compulsivo | Tecnología de la comunicación
Es como hacer buena comida japonesa con corazón | Difusión de tecnología
Viejos testarudos y manuales aburridos | Tecnología de la comunicación
Pasar a los Nuevos Medios | Comunicación Tecnológica
Evaluación: Sistema de Ayuda al Usuario de Gloria de Reyes | Tecnología Comunicación
rui chi
comunicador técnico
Planificación de contenido de marca
fotógrafo independiente
Escritor independiente
wanglidi
Cuenta pública: techcomm / htstory
Cuenta de WeChat: bgrichi
Correo electrónico: [email protected]
