En la era de la IA, cómo hacer un buen uso de los modelos grandes es actualmente el foco de atención en todos los ámbitos de la vida. Como "memoria" para modelos grandes, las bases de datos vectoriales no solo pueden proporcionar almacenamiento de datos, sino también mejorar el conocimiento de modelos grandes a través de la recuperación y el análisis de datos, convirtiéndose en una parte importante del nuevo paradigma del desarrollo de aplicaciones de IA generativa.
Cuando se utilizan imágenes para buscar imágenes o texto para buscar texto, lo que se almacena y compara en la base de datos no son las imágenes y los videoclips, sino las "características" extraídas mediante algoritmos como el aprendizaje profundo. se llama incrustación y las "características" extraídas se representan mediante vectores en matemáticas. El propósito de la vectorización es recuperar datos no estructurados a través de la similitud de vectores, de modo que el modelo de IA pueda comprender y utilizar mejor los datos vectorizados. Una base de datos vectorial es un sistema de base de datos que se utiliza para producir, almacenar, indexar y analizar datos vectoriales masivos generados a partir de modelos de aprendizaje automático. Sus escenarios de aplicación típicos incluyen: servicio al cliente inteligente basado en grandes modelos de lenguaje, preguntas y respuestas basadas en una base de conocimiento empresarial y aplicaciones de herramientas como Chatdoc.
La evolución de la tecnología de bases de datos vectoriales Volcano Engine
● Construir una arquitectura distribuida que separe el almacenamiento y la informática.
Dentro del Grupo Douyin, los primeros motores de búsqueda vectorizados se crearon en torno a negocios de búsqueda, recomendación y publicidad. Dado que estos negocios naturalmente tienen enormes escalas de datos, desde el principio fue necesario pensar en cómo admitir cientos de miles de índices vectoriales en el índice vectorial. Hay cientos de millones de requisitos de recuperación de datos. Por ejemplo, Tu Chong tiene cientos de millones de materiales de imágenes, y la escala de cantidad ya ha excedido el límite de la memoria de una sola máquina. Por ejemplo, para 100 millones 128- Vectores flotantes dimensionales, sin considerar ninguna estructura auxiliar, requeriría 100000000 * 128 * 4 bytes, aproximadamente 48 GB de memoria del servidor.
El equipo de I + D diseñó una arquitectura de sistema distribuido que separa el almacenamiento y la computación para realizar la fragmentación y la orquestación distribuida de datos vectoriales. A través del almacenamiento de vectores, la construcción por lotes y la recuperación en línea en tiempo real, puede resolver el problema de múltiples índices para un vector y admitir múltiples problemas de escena y, al mismo tiempo, también puede guardar estructuras de índice