La tecnología de IA generativa es sin duda una de las mayores imaginaciones de la era actual.
El capital, los empresarios y la gente común están invirtiendo en la IA generativa para descubrirlo: la "guerra de los 100 modelos" comenzó de la noche a la mañana, la escala de financiamiento alcanzó nuevos máximos y continuaron surgiendo varios conceptos de productos de consumo... Según Bloomberg Informe de inteligencia: En 2022, el tamaño del mercado de la IA generativa será de solo 40 mil millones de dólares estadounidenses, y se espera que esta cifra supere los 1,3 billones de dólares estadounidenses para 2032, con una tasa de crecimiento compuesto anual promedio del 42% en los próximos 10 años.
Sin embargo, en la superficie parece muy animado, pero ¿la popularidad y la transformación de la tecnología de IA generativa son realmente tan altas como imaginábamos?
Después de experimentar un crecimiento explosivo, desde junio, casi todas las visitas a productos de chat de IA generativa han disminuido en diversos grados. La última encuesta de usuarios muestra que más del 80%-90% de los encuestados dijeron que no utilizarán ChatGPT, Bard y otras herramientas de chat en los próximos seis meses. Desde la perspectiva del consumo, parece que los productos de IA generativa se consideran más un juguete para ponerse al día con las tendencias de la moda que una herramienta de uso continuo.
En el caso de las empresas, este fenómeno es aún más evidente. Una vez que las personas pasan al modo de trabajo, las herramientas de IA generativa rara vez aparecen en el flujo de trabajo de todos e incluso muchas grandes empresas las prohíben o restringen.
Para la transformación comercial de una tecnología relativamente madura, más de seis meses no es poco tiempo. Pero en la actualidad, el foco de las fantasías sobre la IA generativa todavía parece estar en grandes modelos y conceptos de productos, y la ecología próspera y el impacto transformador en la economía y la sociedad que la gente espera ver aún no se han producido.
Entonces, ¿cuáles son los grilletes de su desarrollo?
Dificultades en el aterrizaje de la IA generativa: ¿cómo romper el "muro" entre el modelo básico y los desarrolladores?
Nadie quiere perderse la ola generativa de IA. Sin embargo, las actuales barreras de entrada ultraelevadas para la IA generativa mantienen fuera a la mayoría de los jugadores.
En los últimos años, el entrenamiento de modelos a través de "aprendizaje profundo + gran potencia informática" es la forma técnica más convencional de realizar inteligencia artificial. Sin embargo, la comercialización de modelos grandes debe volver primero a la contabilidad de costes.
En primer lugar, el modelo grande tiene una gran demanda de potencia informática y es una "bestia devoradora de oro" gigante. El costo de entrenar un modelo GPT-3.5 es de entre 3 y 4,6 millones de dólares estadounidenses, y algunos costos de capacitación de modelos de lenguaje más grandes llegan incluso a 12 millones de dólares estadounidenses. Los modelos a gran escala de desarrollo propio son un "pozo sin fondo" y las empresas de nueva creación sin una sólida solidez financiera no pueden permitírselo.
Además, el modelo general no puede resolver todos los problemas y las cosas que se pueden hacer por las empresas son muy limitadas. El entrenamiento de modelos grandes se completa en base a datos públicos en Internet, y muchos productos están relativamente aislados sin formar un flujo de trabajo coherente y general, y no tienen la capacidad de personalizarse. Significa que los desarrolladores deben realizar una gran cantidad de depuración personalizada en combinación con datos privados, y el umbral de desarrollo y capacitación es extremadamente alto.
Debido a la enorme inversión en la etapa inicial, incluso después de la comercialización del modelo grande, a menudo lleva mucho tiempo alcanzar la rentabilidad. Por lo tanto, para que la tecnología de IA generativa sea verdaderamente efectiva en todos los ámbitos de la vida, se necesita urgentemente una solución asequible, de alta eficiencia y de bajo umbral que permita que más personas participen en el desarrollo de la IA generativa.
Entonces, ¿cómo se puede cerrar la brecha entre el modelo base y la aplicación final? En la actualidad, una plataforma en la nube que proporcione servicios integrales de alojamiento profesional de IA puede ser la mejor solución en este momento.
La plataforma en la nube tiene recursos de potencia informática suficientes y flexibles, y las pequeñas y medianas empresas no necesitan comprar ni mantener costosos equipos de hardware para satisfacer las necesidades de desarrollo individuales. Los usuarios pueden llamar fácilmente recursos de terceros y servicios de paquetes en la plataforma en la nube a través de API y SDK, conectar sin problemas sus aplicaciones y servicios con la plataforma en la nube y simplificar el proceso de desarrollo al máximo.
Además, la plataforma en la nube también puede ayudar a resolver problemas de seguridad y privacidad de los datos. En los últimos meses, muchas empresas grandes, incluidas Apple, Samsung, TSMC y Bank of America, han emitido políticas relevantes para prohibir a los empleados usar ChatGP y han comenzado a desarrollar sus propios modelos grandes. Para aquellas pequeñas y medianas empresas que no tienen capacidades de autodesarrollo, elegir una plataforma en la nube que pueda proporcionar medidas de seguridad que incluyan cifrado de datos, verificación de identidad y herramientas de cumplimiento es una buena opción de bajo costo.
En respuesta a la ola actual de IA generativa, ¿la plataforma en la nube ya tiene la capacidad de desarrollar modelos grandes y proporcionar servicios de proceso completo para la IA generativa?
En la recién concluida Cumbre de Tecnología en la Nube de Amazon en Nueva York, vimos una solución completa de IA generativa basada en la nube.
La tecnología de nube de Amazon crea un nuevo paradigma de IA generativa Pratt & Whitney
Esta vez, Amazon Cloud Technology continuó con el estilo "pragmático" consistente del pasado, dirigido a los puntos débiles que enfrenta la actual transformación de las aplicaciones de IA generativa, y lanzó una serie de nuevas funciones y servicios. Desde el hardware hasta el software, desde el final del desarrollo hasta el final de la aplicación, intentamos crear una plataforma de servicios de IA generativa con las funciones más completas y las capacidades más sólidas.
-
Amazon Bedrock Service: cree una "vía rápida" para el desarrollo de la IA generativa
En respuesta al alto costo de la capacitación del modelo básico a nivel de desarrollo y la complejidad de la implementación del entorno, en abril de este año, Amazon Cloud Technology anunció el lanzamiento del servicio Amazon Bedrock por primera vez, que permite a los usuarios utilizar API para usar cómodamente. Servicios de alojamiento de Amazon Cloud Technology escalables, confiables y seguros. Acceda a modelos básicos de diferentes proveedores y aprovéchelos para crear aplicaciones generativas de IA.
En ese momento, además de su propio modelo Titan, los primeros socios externos y modelos básicos también incluían Jurassic-2 de AI21 Labs, Claude de Anthropic y Stable Diffusion de Stability AI. En esta cumbre de Nueva York, Amazon anunció que ha añadido una vez más a Cohere, uno de los mayores unicornios en el campo de la IA generativa, como proveedor, y también ha añadido el último modelo de lenguaje de Anthropic, Claude 2, y la última versión de Stability AI's Vincent. Graph Model Kit Stable Diffusion XL 1.0 y otros modelos base.
Amazon Cloud Technology cree que en el futuro, un modelo no lo gobernará todo. Al integrar continuamente los modelos básicos líderes de la industria, Amazon Bedrock permitirá a los usuarios llamar cómodamente al modelo más adecuado según sus propias necesidades.
Pero una vez que el modelo básico esté disponible, todavía queda un problema espinoso que no se ha resuelto: ¿cómo utilizar estos modelos para el desarrollo de aplicaciones personalizadas? La plataforma en la nube también necesita resolver aún más los problemas del aprendizaje de datos privados, la integración y depuración del sistema y la ejecución automática de tareas.
Dé un ejemplo de devolución e intercambio de comercio electrónico que encontramos a menudo en nuestra vida diaria. Compraste un par de zapatos en una plataforma de comercio electrónico y no estás satisfecho y quieres pedirle al servicio de atención al cliente que le cambie el color. Si el servicio de atención al cliente es un chatbot general como ChatGPT, ¿cómo te responderá? —— "Lo siento, la fecha límite de mis datos de entrenamiento es septiembre de 2021 y no hay información sobre este par de zapatos".
Para que el modelo grande realmente funcione, lo primero que debe hacer es "alimentar" al modelo con antelación toda la información interna de la empresa relacionada con el par de zapatos, incluido el color del modelo del zapato, la política de devoluciones de la plataforma y la información del inventario. , etc. El modelo puede dar información precisa. Al mismo tiempo que brinda información, también es necesario que la IA pueda realizar todas las operaciones relacionadas con el reemplazo de manera ordenada y segura en segundo plano mientras se chatea.
Esto solía ser una tarea enorme para los desarrolladores, pero ahora Amazon lo ha facilitado con un nuevo servicio llamado Amazon Bedrock Agents.
El último servicio de Amazon Bedrock Agents puede empaquetar la definición de diálogos, la adquisición y análisis de información externa de modelos, llamadas API, ejecución de tareas, etc. en un servicio totalmente administrado sobre la base del modelo básico, para poder generar resultados de manera oportuna y resultado de manera específica.
De esta manera, los desarrolladores no necesitan gastar mucho dinero para desarrollar sus propios modelos básicos desde cero, y no necesitan gastar mucho tiempo y mano de obra en la implementación personalizada y la depuración de modelos, para que los desarrolladores puedan centrarse más en Aplicación de IA: en términos de construcción y operación, los pequeños y medianos desarrolladores sin capital ni capacidad técnica pueden unirse a la ola de IA generativa.
-
Escolta dual "datos vectoriales + potencia informática de hardware", el cerebro más fuerte + la base más sólida para el desarrollo de aplicaciones de fundición
El desarrollo personalizado del modelo requiere no sólo servicios de hosting profesionales como Amazon Bedrock, sino también otras capacidades relacionadas como informática, almacenamiento y seguridad para garantizar la disponibilidad continua y la actualización iterativa del modelo.
Sin duda, los datos son la base para el surgimiento y desarrollo de la inteligencia artificial. Para aprender y comprender la complejidad del lenguaje humano, la IA generativa necesita una gran cantidad de datos de entrenamiento, y estos datos de entrenamiento generalmente existen en forma de "vectores", es decir, convertir el lenguaje natural en números que las computadoras puedan entender y procesar. .
Entonces, ¿qué son los datos vectoriales y por qué son fundamentales para el desarrollo de la IA generativa?
Suponiendo que está utilizando un software de recomendación de música, podemos cuantificar y marcar cada canción de acuerdo con tres características como ritmo, letra y melodía. Por ejemplo, la primera canción es (120, 60, 80) y la segunda canción es ( 100, 80, 70), cuando le dice al sistema que le gusta el ritmo de la primera canción, el sistema encontrará los datos del vector de ritmo "120" de esta canción, buscará otros vectores similares a este vector en la base de datos y Luego recomienda canciones con características similares a las tuyas.
Por supuesto, no sólo se pueden marcar datos tridimensionales, sino también datos en más latitudes. En el procesamiento del lenguaje natural, los "vectores de palabras" representados mediante técnicas de incrustación de palabras suelen tener cientos de dimensiones, mientras que en el procesamiento de imágenes, los vectores de imágenes representados mediante valores de píxeles pueden tener de miles a millones de dimensiones. Los datos "vectorizados" se almacenarán en una base de datos vectorial para recuperar y generar de manera eficiente los datos más relevantes o similares en un espacio de alta dimensión.
Sin embargo, vectorizar y almacenar datos no es una tarea fácil y, a menudo, requiere mucha mano de obra y tiempo. En respuesta a este problema, Amazon Cloud Technology ha lanzado un motor vectorial para Amazon OpenSearch Serverless. Este motor vectorial puede admitir llamadas API simples y puede usarse para almacenar y consultar miles de millones de incrustaciones (asignación de datos de alta dimensión a espacios dimensionales de bajo nivel). proceso). Amazon Cloud Technology también declaró que en el futuro, todas las bases de datos de Amazon Cloud Technology tendrán funciones vectoriales y se convertirán en el "cerebro más poderoso" del desarrollador a nivel de datos de IA.
Además del soporte del motor vectorial, en términos de potencia informática, Amazon Cloud Technology también se ha comprometido a construir una infraestructura de nube de bajo costo y baja latencia.
Amazon Cloud Technology y NVIDIA han cooperado durante más de 12 años para proporcionar soluciones GPU de bajo costo y gran escala para diversas aplicaciones como inteligencia artificial, aprendizaje automático, gráficos, juegos e informática de alto rendimiento, y tienen una experiencia incomparable en la entrega de GPU. Instancias basadas en rica experiencia. Esta vez, Amazon Cloud Technology demostró la última instancia P5 basada en el soporte de la GPU Nvidia H100 Tensor Core, que puede lograr una latencia más baja y un rendimiento de expansión horizontal eficiente.
Las instancias P5 serán las primeras instancias de GPU en aprovechar la tecnología de red Amazon Elastic Fabric Adapter (EFA) de segunda generación de Amazon Cloud Technology. En comparación con la generación anterior, el tiempo de capacitación de las instancias P5 se puede acortar hasta 6 veces, de días a horas. Esta mejora del rendimiento ayudará a los clientes a reducir los costos de capacitación hasta en un 40 %. Con Amazon EFA de segunda generación, los usuarios pueden escalar sus instancias P5 a más de 20 000 GPU NVIDIA H100, proporcionando la potencia de supercomputación que necesitan clientes de todos los tamaños, desde empresas emergentes hasta grandes empresas.
-
Reducir el umbral de la IA generativa y maximizar el empoderamiento de los usuarios con productos
Además de las herramientas y plataformas para el desarrollo de la IA generativa, se necesitan algunos productos de IA generativa listos para usar en las operaciones diarias de las empresas para ayudar a mejorar la eficiencia del trabajo y la gestión. Con respecto a este punto, Amazon Cloud Technology también ha lanzado sucesivamente algunos productos que se pueden utilizar directamente en escenarios laborales, que no solo cubren a los desarrolladores subyacentes, sino que también prestan atención a una gran cantidad de personal no técnico de la empresa.
Por ejemplo, en el campo del desarrollo de código, desde que Amazon Cloud Technology lanzó por primera vez el asistente de programación de IA Amazon CodeWhisperer en junio del año pasado, esta función se ha convertido en una de las herramientas diarias imprescindibles para muchos desarrolladores.
Basado en miles de millones de líneas de capacitación en código fuente abierto, Amazon CodeWhisperer puede generar sugerencias de código en tiempo real basadas en comentarios de código y código existente, y también puede escanear en busca de vulnerabilidades de seguridad. Actualmente admite 15 lenguajes de programación, incluidos Python, Java y JavaScript, y entornos de desarrollo integrados, incluidos VS Code, IntelliJ IDEA, JupyterLab y Amazon SageMaker Studio.
Para mejorar aún más la eficiencia del desarrollo, en la Cumbre de Nueva York, Amazon Cloud Technology anunció oficialmente que los portátiles Amazon Glue Studio también pueden admitir Amazon CodeWhisperer. Con Amazon Glue Studio Notebooks, los desarrolladores pueden escribir tareas específicas en lenguaje natural y luego Amazon CodeWhisperer puede recomendar uno o más fragmentos de código que pueden realizar esta tarea directamente en Notebooks para que los desarrolladores los utilicen y editen directamente.
Amazon CodeWhisperer admite idiomas y entornos. La imagen proviene del sitio web oficial de Amazon Cloud Technology.
Para escenarios de trabajo que no son de desarrollo, al combinar las capacidades del modelo de lenguaje grande de Amazon Bedrock con Amazon QuickSight Q, que admite la respuesta a preguntas en lenguaje natural, proporciona a los usuarios nuevos servicios de inteligencia empresarial basados en IA generativa.
Por ejemplo, si es analista financiero, puede dar comandos en lenguaje natural, como chatear con ChatGPT, y Amazon QuickSight Q puede completar la operación de buscar información financiera clave o crear un gráfico de visualización financiera de una empresa en unos segundos. También puede ayudarle a resumir las características de la tendencia y hacer recomendaciones.
Productos similares listos para usar incluyen Amazon Entity Resolution, que ayuda a las empresas a romper los silos de información internos y acelerar la toma de decisiones basada en datos, y Amazon HealthScribe, que ayuda a los proveedores de software médico a crear fácilmente aplicaciones clínicas generativas basadas en IA, etc. Todos los ámbitos de la vida están ampliando los escenarios de uso de los productos de IA generativa.
Libera el "poder de la nube" en la era de la IA
El desarrollo de la IA generativa requiere la nube y, lo que es más importante, una gran cantidad de herramientas y servicios basados en la nube.
Después del gran modelo, la siguiente etapa de la tecnología de IA generativa definitivamente se desarrollará en la dirección de la diversidad y la personalización. Podemos ver no solo herramientas de productividad generales, sino también varios productos de IA dirigidos a escenarios específicos. En este proceso, la plataforma en la nube desempeñará un papel cada vez más crítico.
Por un lado, la plataforma en la nube reducirá en gran medida el umbral para el desarrollo de aplicaciones de IA. Con el apoyo de la potencia informática y el modelo básico de la plataforma, los desarrolladores básicamente no necesitan preocuparse por los problemas de hardware e infraestructura, por lo que pueden dedicar más tiempo y energía a los negocios y las operaciones. Por otro lado, la plataforma en la nube puede acelerar continuamente el desarrollo y la eficiencia operativa de las aplicaciones de IA. Los usuarios pueden desarrollar y administrar aplicaciones llamando directamente a la API y compartirlas entre equipos u organizaciones de forma segura y conveniente.
Con la ayuda de la plataforma en la nube, la futura IA generativa ya no será sólo un "juego para quemar dinero" al que sólo pueden jugar gigantes, sino que también la gente común y corriente podrá sentarse a la mesa de póquer.
Como uno de los líderes de la industria en el campo de los servicios en la nube, Amazon Cloud Technology ofrece más de 200 servicios, que cubren una amplia gama de campos como informática, almacenamiento, bases de datos, redes, herramientas de desarrollo, seguridad, análisis, Internet de las cosas y aplicaciones empresariales Instalaciones repartidas por todo el mundo. Al mismo tiempo, Amazon Cloud Technology también es líder en el campo de la inteligencia artificial y el aprendizaje automático. A lo largo de los años, ha proporcionado y actualizado continuamente una serie de servicios de extremo a extremo relacionados con la IA, lo que permite a los desarrolladores desarrollar y implementar aplicaciones de IA generativa de manera flexible, conveniente y a bajo costo.
Esta vez, Amazon Cloud Technology lanzó la herramienta de inteligencia artificial generativa "Family Bucket" en el desarrollo y aplicación de la inteligencia artificial.
La importancia de la IA generativa no radica en cuán poderoso sea el modelo, sino más importante aún, en cómo puede evolucionar desde un modelo básico hasta aplicaciones específicas en diversos campos, potenciando así el desarrollo de toda la economía y la sociedad.
Ahora, Amazon Cloud Technology se está convirtiendo en ese puente.