▲ Las imágenes son generadas por IA
Los recursos informáticos son escasos, los costos siguen siendo altos, la privacidad de los datos se filtra y la experiencia del usuario es deficiente...
Después de la explosión de grandes modelos de lenguaje representados por OpenAI, la implementación localizada se ha convertido en el modo principal de implementación de LLM bajo la influencia de múltiples factores. LLM necesita implementarse urgentemente en dispositivos locales, y la investigación y exploración en torno a la implementación final de LLM están en su punto más alto.
En mayo, Google lanzó una versión ligera PaLM2 de Gecko que puede ejecutarse sin conexión en teléfonos emblemáticos.
A partir de este momento, los modelos de lenguajes grandes que puedan ejecutarse en el dispositivo se han convertido en una tarea importante para los fabricantes. Después de todo, para implementar LLM, los terminales móviles son uno de los mejores operadores y también existe un enorme espacio de mercado en el lado de los terminales.
Como resultado, los fabricantes activaron el modo frenético y se embarcaron en el camino de la compresión, destilación y optimización de LLM, intentando instalar primero sus propios modelos de nube a gran escala en los teléfonos móviles.
Fue durante este período que Qualcomm propuso el concepto de IA híbrida: el procesamiento de IA debe distribuirse en la nube y en terminales para lograr una expansión a gran escala de la IA y alcanzar su máximo potencial.
Debido al tamaño del mercado del lado del cliente y la tendencia de la IA híbrida, incluso Microsoft ha formado una alianza con Meta para lanzar conjuntamente Llama 2, un modelo de lenguaje grande de código abierto que se puede implementar en el lado del cliente.
Llama 2, conocido como "el reemplazo más potente de GPT-4", permite a los desarrolladores ofrecer a los clientes modelos grandes independientes a un costo muy bajo, lo que brindará más posibilidades y oportunidades de innovación a los desarrolladores.
Desde entonces, varios fabricantes de chips han estado trabajando arduamente para desarrollar chips, tecnologías y soluciones que puedan adaptarse a varios modelos grandes.
Aunque los chips que pueden soportar la operación local de LLM aún no se han producido en masa, la demostración de Qualcomm del uso de SD en un teléfono móvil para generar una imagen en más de diez segundos durante la Conferencia Mundial de Inteligencia Artificial atrajo rápidamente la atención de muchas partes.
Qualcomm planea comenzar a admitir la implementación de IA basada en Llama 2 en terminales equipados con la plataforma Snapdragon en 2024. El SoC insignia de próxima generación de MediaTek que se lanzará en la segunda mitad del año también admitirá la implementación de IA.
El despliegue de chips en los dispositivos está listo y los fabricantes de terminales inteligentes están brillando con fuerza.
En particular, los fabricantes de teléfonos móviles están trabajando arduamente en I + D y pruebas para LLM, básicamente han lanzado sus propios modelos de lenguaje a gran escala basados en la nube y quieren competir por primera vez en la implementación del lado del dispositivo LLM.
Las intensas acciones en el upstream y downstream de la cadena industrial muestran que LLM está avanzando rápidamente hacia el final.
LLM también se está integrando con la hiperautomatización a alta velocidad y ha provocado cambios desde la arquitectura técnica hasta la ecología del producto y el modelo de negocio para la superautomatización.
En el pasado, LLM se implementó en la nube, lo que ha traído cambios tan grandes a la hiperautomatización. Ahora que LLM está a punto de implementarse en el lado del dispositivo, ¿qué impacto tendrá en la hiperautomatización?
Este artículo le hablará sobre estos.
01 Los fabricantes de teléfonos móviles lanzan modelos de gran tamaño
A finales de julio, medios extranjeros dieron la noticia de que Apple estaba desarrollando silenciosamente herramientas de inteligencia artificial y había establecido su propio marco "Ajax" para crear grandes modelos de lenguaje. Basado en "Ajax", Apple también ha creado un servicio de chatbot, que algunos ingenieros internos llaman "Apple GPT".
Un mes después, Apple comenzó a contratar ingenieros e investigadores para comprimir LLM para que pudiera ejecutarse de manera eficiente en iPhones y iPads. La medida señala el impulso de Apple para avanzar en la inteligencia artificial y convertirse en una de las primeras empresas en desarrollar software de inteligencia artificial que pueda ejecutarse de manera efectiva en teléfonos y dispositivos en lugar de en la nube.
A principios de agosto, Huawei declaró en la Conferencia de Desarrolladores HDC 2023 que su asistente de voz Xiaoyi se había actualizado para admitir modelos de lenguaje grandes y puede ayudar en el trabajo de oficina y el aprendizaje como los populares chatbots de IA actualmente.
Al mismo tiempo, cuando Huawei lanzó HarmonyOS 4, también anunció que había integrado capacidades de modelos grandes de IA en la capa inferior del sistema. HarmonyOS 4 cuenta con soporte subyacente del modelo Pangu de Huawei, con la esperanza de brindar a los usuarios una nueva revolución en la experiencia de IA en interacción con terminales inteligentes, eficiencia de productividad de alto nivel y servicios personalizados.
Xiaomi no ha "anunciado oficialmente" su entrada en la pista LLM antes, pero su modelo de lenguaje grande MiLM-6B ha aparecido silenciosamente en las listas de evaluación de modelos grandes C-Eval y CMMLU. A partir de ahora, el modelo grande de Xiaomi ocupa el décimo lugar en la lista general de C-Eval y el primero en la misma categoría de parámetros.
En el discurso anual de Xiaomi celebrado la noche del 14 de agosto, Lei Jun dijo que el último modelo de 1.3 mil millones de parámetros del modelo de inteligencia artificial de Xiaomi se ha ejecutado con éxito localmente en teléfonos móviles, y que algunos escenarios pueden ser comparables a los resultados de ejecutar un parámetro de 6 mil millones. modelo en la nube. El asistente de inteligencia artificial de Xiaomi, Xiao Ai, ha comenzado a actualizar las capacidades de sus modelos grandes de IA y comenzará las pruebas de invitación el día de la conferencia de prensa.
OPPO anunció el 13 de agosto que su nuevo Asistente Xiaobu basado en AndesGPT pronto lanzará un evento de experiencia a gran escala. El Asistente Xiaobu actualizado tendrá capacidades de modelos grandes de IA, capacidades de diálogo y comprensión semántica más sólidas, y podrá escribir el contenido que los usuarios necesitan en función de la copia requerida. Las capacidades de IA como resumen y resumen también se mejorarán enormemente.
AndesGPT es un modelo generativo de lenguaje grande basado en una arquitectura de nube híbrida construida por el equipo Andes Intelligent Cloud de OPPO. El equipo comenzó a explorar e implementar modelos de lenguaje previamente entrenados hace dos años y desarrolló de forma independiente modelos grandes OBERT con 100 millones, 300 millones y mil millones de parámetros. OBERT una vez ocupó el quinto lugar en la lista CLUE1.1 de evaluación de comprensión del idioma chino y ocupó el primer lugar en la lista de preguntas y respuestas del gráfico de conocimiento a gran escala KgCLUE1.0.
Vivo también desarrolló 3MP-Text, un modelo de preentrenamiento de texto para tareas de comprensión del lenguaje natural en mayo de este año, que ocupó el primer lugar en la lista CLUE (Evaluación comparativa de comprensión del idioma chino) con 100 millones de efectos de modelo de parámetros. Se revela que vivo lanzará un nuevo sistema OriginOS 4.0 alrededor de octubre de este año, y el nuevo sistema tendrá un modelo de IA incorporado.
Honor es uno de los primeros fabricantes de teléfonos móviles en implementar IA. El avance de sus capacidades de IA se divide principalmente en tres etapas: la primera etapa es proponer conceptos de 0 a 1 y contextualizar las necesidades. Por ejemplo, la cámara puede identificar directamente el color verde. las plantas y el cielo. La IA puede optimizar las imágenes en consecuencia; en la segunda etapa, la IA tiene comprensión y aprendizaje del contexto, y toma decisiones de máquina integradas sobre los hábitos de los consumidores en función de la ubicación y el tiempo; en la tercera etapa, la IA se introduce en el lado del dispositivo.
Honor también ha declarado públicamente que tomará la iniciativa en la introducción de grandes modelos de IA hasta el final.
02 Acciones LLM de los fabricantes de chips
Qualcomm es un firme promotor de la implementación final de LLM.
A principios de junio, Qualcomm publicó el documento técnico "La IA híbrida es el futuro de la IA". Qualcomm cree que a medida que la IA generativa se desarrolla a una velocidad sin precedentes y los requisitos informáticos aumentan, el procesamiento de la IA debe distribuirse en la nube y en los terminales para lograr una expansión a gran escala de la IA y alcanzar su máximo potencial.
La nube y los terminales de borde, como teléfonos inteligentes, automóviles, computadoras personales y terminales de IoT, trabajan juntos para lograr una IA más potente, más eficiente y altamente optimizada. La IA híbrida ayudará a los desarrolladores y proveedores de aplicaciones de IA generativa a aprovechar los terminales de borde. la energía reduce los costos, por lo que la IA híbrida es el futuro de la IA. (Envíe mensajes contradictorios en segundo plano para obtener el documento técnico).
En la Conferencia Mundial de Inteligencia Artificial de este año, Qualcomm realizó una demostración técnica de cómo ejecutar el modelo generativo de IA Difusión estable en el lado del terminal y una demostración del funcionamiento del Modelo Visual-Lenguaje (LVM) ControlNet del lado del terminal, con el número de parámetros que alcanzan entre mil millones y 1,5 mil millones Capaz de completar una serie de razonamientos en diez segundos.
El 19 de julio, Meta anunció que cooperaría con Microsoft para lanzar conjuntamente el modelo de lenguaje grande de código abierto Llama 2. Qualcomm anunció inmediatamente su cooperación con Meta, que permitirá que los chips Qualcomm Snapdragon se ejecuten basados en Llama 2 sin estar conectados a Internet. .Modelar aplicaciones y servicios.
A través de la cooperación, las dos partes pueden ejecutar modelos de IA generativa representados por Llama 2 en teléfonos inteligentes, PC, auriculares AR/VR, automóviles y otros dispositivos, ayudando a los desarrolladores a reducir los costos operativos de la nube y brindar a los usuarios una experiencia privada, más confiable y personalizada.
Qualcomm planea respaldar la implementación de IA basada en Llama 2 en terminales equipados con la plataforma Snapdragon a partir de 2024. Actualmente, los desarrolladores ya pueden comenzar a utilizar la pila de software de IA de Qualcomm para optimizar las aplicaciones para la IA del lado del terminal.
MediaTek anunció oficialmente el lanzamiento del primer modelo de lenguaje a gran escala de IA en chino tradicional del mundo, BLOOM-zh, el 28 de abril. El modelo comenzó las pruebas internas en febrero y fue superior a su predecesor en la mayoría de las pruebas comparativas de chino tradicional en el momento de su lanzamiento, mientras que manteniendo su dominio del inglés.
Al igual que Qualcomm, MediaTek también está adoptando activamente Llama 2.
El 24 de agosto, MediaTek anunció que utilizará el modelo de lenguaje a gran escala de última generación de Meta, Llama2, y la unidad de procesamiento de inteligencia artificial (APU) más avanzada de MediaTek y la plataforma completa de desarrollo de IA (NeuroPilot) para establecer un ecosistema informático terminal completo para acelerar los teléfonos inteligentes y la IA. desarrollo de aplicaciones en dispositivos terminales como automóviles, hogares inteligentes e Internet de las cosas.
Se espera que las aplicaciones de IA desarrolladas con el modelo Llama 2 se presenten en los últimos productos estrella a finales de año.
MediaTek reveló que su SoC insignia de próxima generación Tianji 9300 se lanzará en la segunda mitad del año. Además de las mejoras periódicas de rendimiento, también integrará la última APU para brindar capacidades de inteligencia artificial más sólidas a teléfonos móviles y otros dispositivos terminales, similar a una experiencia de servicio ChatGPT.
A principios de junio, también se reveló que Samsung Electronics estaba desarrollando su propio modelo de lenguaje grande (LLM) para uso interno.
Además de los dispositivos finales como los teléfonos móviles, las PC siguen siendo importantes herramientas de productividad personal y empresarial, e Intel tampoco escatima esfuerzos para admitir modelos de lenguajes de gran tamaño.
Intel anunció oficialmente en junio que el modelo de IA generativa Aurora genAI, desarrollado utilizando la supercomputadora Aurora, tendrá hasta 1 billón de parámetros".
Intel ofrece una gama de soluciones de IA que brindan a la comunidad de IA opciones altamente competitivas y atractivas para desarrollar y ejecutar modelos como Llama 2. La combinación de una rica cartera de productos de hardware de IA y un software abierto y optimizado proporciona a los usuarios soluciones factibles para resolver los desafíos de la potencia informática.
Intel también promueve aún más la implementación de escenarios emergentes de IA generativa en computadoras personales mediante la construcción de ecosistemas de software y optimización de modelos, cubriendo una amplia gama de portátiles delgados y livianos, portátiles polivalentes, portátiles para juegos, etc. Actualmente, Intel está trabajando con muchos socios en la industria de las PC para permitir a los usuarios mejorar la eficiencia a través de la asistencia de IA en su vida diaria y en su trabajo, y brindar experiencias de PC innovadoras.
AMD lanzó su última GPU para centros de datos, MI300X, a mediados de junio, pero no parecía ser la favorita del mercado y los principales clientes no pagaron por ella.
Sin embargo, el algoritmo de optimización producido recientemente por el equipo TVM de Chen Tianqi se ha implementado en los últimos modelos Llama2 7B y 13B. Usando una AMD Radeon RX 7900 XTX, la velocidad puede alcanzar el 80% de la NVIDIA RTX 4090, o el 94% de la 3090Ti. .
Este algoritmo de optimización ha hecho que más personas presten atención a las tarjetas gráficas GPU de AMD y también ha permitido que más jugadores individuales de AMD vean la esperanza de utilizar chips AMD para entrenar LLM. Actualmente, ya existen algunos modelos LLM de código abierto que pueden admitir tarjetas A.
Como todos sabemos, la GPU Nvidia es actualmente el principal generador de potencia informática global. Actualmente, si quieres jugar con modelos de lenguajes grandes, no puedes prescindir de NVIDIA desde el lado B hasta el lado C. Los datos relevantes predicen que NVIDIA ocupará al menos el 90% de la cuota de mercado de chips de IA.
El último informe de estadísticas del mercado de GPU de Jon Peddie Research (JPR) muestra que las ventas de tarjetas gráficas independientes de escritorio fueron de aproximadamente 6,3 millones de unidades en el primer trimestre de 2023. NVIDIA siguió dominando con una participación de mercado del 84%, vendiendo aproximadamente 5,29 millones de unidades de escritorio. Tarjetas gráficas independientes Tarjetas gráficas: AMD ocupa el segundo lugar con una participación de mercado del 12%, con envíos de aproximadamente 760.000 unidades.
Como mayor proveedor de potencia informática, NVIDIA ha lanzado muchas estrategias, soluciones y productos en grandes modelos de lenguaje e IA generativa.
Debido a limitaciones de espacio, no entraré en detalles sobre NVIDIA aquí, puedes buscar y aprender tú mismo.
03 ¿Cuáles son los beneficios de la implementación final de LLM?
Desde los fabricantes de chips hasta los fabricantes de terminales, todos se apresuran a implementar grandes modelos de lenguaje. Ahora que han centrado su atención en la implementación final de LLM, ¿cuál es la lógica detrás de esto?
Antes de discutir este tema, también podríamos echar un vistazo a los beneficios de implementar LLM en el lado del dispositivo.
LLM ha logrado grandes avances en los últimos años, pero enfrenta algunos desafíos, como limitaciones de recursos informáticos, protección de la privacidad de los datos y la interpretabilidad del modelo, que son factores importantes que restringen el ingreso de LLM a miles de industrias.
La implementación de LLM en el lado del cliente se refiere a ejecutar un modelo de lenguaje grande en el dispositivo inteligente del usuario. En comparación con ejecutar LLM en un servidor en la nube, ejecutar LLM en el lado del cliente tiene las siguientes ventajas:
Primero, mejorar la experiencia del usuario. Puede reducir significativamente la latencia de la red, mejorar la velocidad de respuesta y ahorrar tráfico y energía. Esto es muy importante para algunos escenarios de aplicaciones con altos requisitos en tiempo real, como reconocimiento de voz, traducción automática, diálogo inteligente, etc.
En segundo lugar, garantizar la seguridad de los datos. Puede evitar eficazmente que los datos de los usuarios se carguen en la nube, reduciendo así el riesgo de fuga de datos y mejorando la confianza y satisfacción del usuario. Es muy necesario para escenarios de aplicación que involucran información confidencial, como consultas de salud, consultas legales y asistentes personales.
En tercer lugar, aumentar la flexibilidad del modelo. La implementación de LLM en el lado del cliente permite a los usuarios personalizar y ajustar los parámetros y funciones del modelo según sus propias necesidades y preferencias. Esto es beneficioso para el desarrollo empresarial y laboral en la creación de contenidos, coaching educativo, juegos de entretenimiento y otros escenarios que requieren personalización y diversificación.
La localización del despliegue de la IA es necesaria, y sus ventajas incluyen menor latencia, menor ancho de banda, mayor seguridad de los datos, protección de la privacidad de los datos, alta confiabilidad, etc. El modelo grande completo puede ocupar una GPU de 80G con solo los pesos de los parámetros, pero mediante optimizaciones como la cuantificación, la destilación de conocimientos y la poda, el modelo grande puede implementar la inferencia localmente en el teléfono móvil.
Qualcomm predijo la dirección de desarrollo futuro de LLM en su documento técnico de IA "La IA híbrida es el futuro de la IA", que es una tendencia general de que los modelos de lenguajes grandes avancen hacia el lado del dispositivo. Los fabricantes de terminales, incluidos los de teléfonos móviles, tienen una gran demanda de esto y, naturalmente, los fabricantes de chips en los tramos superiores de la cadena industrial no deben escatimar esfuerzos para realizar diversas exploraciones basadas en grandes modelos de lenguaje.
Aunque los fabricantes de chips como Qualcomm, MediaTek e Intel ya han cooperado con Metad Llama 2, todavía pasará algún tiempo antes de que los chips móviles que admiten la operación final LLM se produzcan en masa a gran escala.
Bajo la tendencia de la IA híbrida, tanto la localización como el funcionamiento de la red de LLM son necesarios. Por lo tanto, durante el período actual, la mayoría de los fabricantes de terminales están integrando grandes capacidades de modelos de lenguaje en herramientas de software, como métodos de entrada de asistentes de voz a través de la nube, para que los usuarios puedan experimentar primero los muchos beneficios de la IA generativa.
La nube coopera con el lado del dispositivo para implementar LLM de manera doble: utilizando la potencia informática del terminal local para admitir la mayoría de las aplicaciones generativas de IA y vinculando la potencia informática en la nube para resolver problemas complejos de aplicaciones cuando sea necesario. Al mismo tiempo que mejora enormemente la experiencia del teléfono móvil, también puede reducir los costos de energía informática.
Por lo tanto, el LLM basado en la nube primero mejora la experiencia del usuario y luego implementa el LLM en el extremo para mejorar la experiencia, lo que continuará brindando más sorpresas a los usuarios.
Si LLM se puede implementar en teléfonos móviles, naturalmente también se puede implementar en otros terminales.
Esto significa que, además de los teléfonos móviles, los ordenadores portátiles, los hogares inteligentes, los dispositivos VR (Visual Reality, realidad virtual)/AR (Augmented Reality, realidad aumentada), los coches y otros terminales IoT estarán equipados con chips que puedan soportar LLM en el En el futuro, AIOT marcará el comienzo de un gran cambio en AIOT. Es concebible que este sea un mercado a gran escala.
Y estos productos los fabrican casi todos los fabricantes de teléfonos móviles.
Además, ejecutar LLM en un teléfono móvil tiene ciertos requisitos de hardware: cuanto mayor sea la frecuencia de la CPU, mayor será la potencia informática.
Los datos de IDC muestran que en el primer trimestre de 2023, el 36% de las ventas mundiales de teléfonos móviles tienen una frecuencia de procesador principal superior a 2,8 GHz, y el 13% tienen un precio superior a 1.000 dólares estadounidenses, lo que significa que los modelos emblemáticos representan una proporción baja. Con la implementación de LLM en teléfonos móviles, junto con el marketing de trucos de los grandes modelos de lenguaje de los fabricantes, la IA generativa, etc., se espera que promueva una nueva ola de teléfonos móviles.
Ante el tamaño del mercado de miles de millones de dólares en el futuro, todos los fabricantes de terminales inteligentes se beneficiarán de ello.
Se trata realmente de una lluvia oportuna para el mercado de la telefonía móvil, que ha seguido cayendo desde 2019 y el ciclo de sustitución de usuarios se ha ampliado. También se espera que los productos terminales etiquetados con AIGC saquen a la industria de la electrónica de consumo de la crisis a largo plazo y entren en un nuevo ciclo económico.
04 ¿Qué impacto tiene la implementación del lado del cliente en la hiperautomatización?
La hiperautomatización es un conjunto con el propósito de entregar trabajo. Es una combinación de RPA, minería de procesos, gestión inteligente de procesos de negocio y otras capacidades técnicas y herramientas de software. También es una extensión adicional de conceptos como la automatización inteligente de procesos y la automatización integrada.
Se incluyen los pasos clave involucrados en la hiperautomatización en sí, a saber, descubrimiento, análisis, diseño, automatización, medición, monitoreo y reevaluación, destacando la importancia de estar centrado en el ser humano y realizar la asociación, combinación y coordinación entre personas, aplicaciones y servicios sexo.
Desde el estallido de la IA generativa, los fabricantes involucrados en RPA, código bajo o sin código, minería de procesos, BPM, iPaaS y otras tecnologías en el campo de la hiperautomatización están explorando activamente la aplicación integrada del propio LLM. En la actualidad, básicamente han introducido LLM y Desarrolló su propio modelo de dominio basado en tecnología de código abierto.
Estos grandes modelos se están integrando profundamente con diversos productos, transformando así las formas de los productos y los modelos comerciales innovadores.
La hiperautomatización es una dirección importante para la implementación de LLM. Después de todo, la automatización es una herramienta y tecnología que las empresas priorizan para aumentar la eficiencia y reducir costos. En particular, la automatización de procesos de un extremo a otro se ha convertido en la principal forma para que las organizaciones experimenten una transformación digital.
Después de la introducción de la IA generativa, la hiperautomatización potenciará las operaciones a largo plazo de las organizaciones tanto a partir de la automatización de la generación de contenidos como de la automatización de los procesos de negocio. La IA generativa mejorará aún más la eficiencia de la automatización de los procesos comerciales de la organización, logrando así una reducción de costos más profunda, una mejora de la calidad y un aumento de la eficiencia.
El impacto de LLM en la hiperautomatización se puede resumir simplemente en mejorar la eficiencia y la calidad, mejorar la inteligencia y la flexibilidad, respaldar la automatización de la toma de decisiones, ampliar el dominio y el alcance y aumentar la innovación y el valor.
La integración de LLM y la hiperautomatización que discutimos anteriormente se centró más en cómo los nuevos productos y modelos creados después de la integración de las dos arquitecturas técnicas pueden mejorar la productividad y crear más valor comercial. No hubo más discusión sobre la implementación de LLM. Aquí podemos brevemente hablar de este tema.
La implementación del modelo de lenguaje grande del lado del cliente inevitablemente logrará mejores resultados en la implementación y operación de la hiperautomatización que el LLM implementado en la nube.
RPA es un software de gestión empresarial. Debido a las necesidades de privatización de algunos clientes, RPA a menudo se implementa en salas de computadoras locales o entornos de nube privada. Cuando se trata de la introducción de modelos de lenguaje grandes, algunos clientes con mayores requisitos de privacidad de datos solo pueden optar por implementar LLM localmente, pero el costo de la potencia informática local se ha convertido en un problema principal.
En el futuro, LLM se puede implementar en el lado del cliente, y estos clientes liberarán en gran medida los recursos de potencia informática. Tanto las PC como los terminales móviles pueden soportar parte de la potencia informática, lo que puede reducir en gran medida los costos de potencia informática.
Por lo tanto, LLM se ejecuta en el dispositivo del usuario, lo que puede reducir efectivamente el retraso de la red en la operación hiperautomática y reducir el consumo de recursos de computación en la nube.
En términos de efectividad, la implementación final de LLM puede hacer que la hiperautomatización sea más flexible y personalizable. Los usuarios pueden elegir modelos de IA apropiados según las necesidades y escenarios, y pueden actualizar y ajustar los modelos en cualquier momento. La implementación del lado del cliente también puede hacer que la hiperautomatización sea más segura y confiable: después de todo, no es necesario cargar los datos del usuario en la nube, evitando así el riesgo de fuga o manipulación de datos.
Por supuesto, la implementación del lado final de LLM también enfrenta algunos desafíos, como grandes requisitos informáticos, altos requisitos en tiempo real y limitaciones en el entorno operativo, la memoria, el espacio de almacenamiento, etc. Estos son exactamente los problemas que necesita la implementación del lado de la red de LLM. resolver.
Como resultado, la IA híbrida que combina múltiples métodos de implementación defendida por Qualcomm ha resultado útil, y esta es también la razón principal por la que la implementación del lado del dispositivo de LLM se ha convertido en un tema candente.
05 Posdata: La implementación final de LLM + hiperautomatización hace realidad a "Jarvis"
LLM se ejecuta en el lado del terminal, lo que permite que los teléfonos móviles y otros dispositivos terminales interactúen mejor con los usuarios sin estar conectados a Internet y se vinculen con otros terminales móviles, como varios hogares inteligentes, para brindar un mejor servicio a los usuarios.
Los robots conversacionales (Chatbots) se han introducido desde hace tiempo en la arquitectura de productos de hiperautomatización, con el propósito de crear automáticamente procesos de negocio mediante comandos de voz. Sin embargo, los robots anteriores no respondían lo suficiente y no podían interactuar mejor con las personas, ni podían movilizar completamente la RPA para la creación de procesos, y solo podían construir o ejecutar procesos comerciales prefabricados simples.
Al construir LLM en terminales móviles como teléfonos móviles, basado en grandes capacidades de generación de modelos de lenguaje, capacidades de comprensión semántica y capacidades de razonamiento lógico, los usuarios pueden crear procesos de negocios en tiempo real a través de múltiples rondas de diálogo y luego construir procesos de negocios más complejos para ser más inteligente Maneje múltiples negocios de manera eficiente.
Esto significa que es posible construir y ejecutar diversos procesos comerciales en el trabajo, la vida y el estudio a través de conversaciones de voz a través de teléfonos móviles y otros terminales, y también será una realidad llamar a todos los terminales inteligentes en la escena a través del terminal para que sirvan. individuos.
Ya existen productos similares en el mercado, como el modelo CahtRPA de TARS-RPA-Agent verdaderamente inteligente, que puede generar y ejecutar procesos comerciales con la misma fluidez que generar texto a través del diálogo. A continuación, aparecerán más productos similares, que enriquecerán enormemente las aplicaciones de hiperautomatización en diversos campos y escenarios.
Hablando de eso, ¿ya tienes en mente la imagen de un mayordomo robot?
Así es, se puede decir que el sueño de todos es construir un ama de llaves inteligente integral como "Jarvis" en "Iron Man" con un modelo de lenguaje grande como núcleo y el lenguaje como interfaz para controlar múltiples sistemas modelo de IA.
Ahora, con la construcción adicional de grandes modelos de lenguaje en el lado del dispositivo, el enfoque doble de la nube y el lado del dispositivo, junto con la hiperautomatización que puede generar varios procesos complejos, este sueño se ha convertido en una realidad.
- FIN -