Na era da IA, como fazer bom uso de modelos grandes é atualmente o foco de atenção em todas as esferas da vida. Como uma "memória" para grandes modelos, os bancos de dados vetoriais podem não apenas fornecer armazenamento de dados, mas também aprimorar o conhecimento de grandes modelos por meio da recuperação e análise de dados, tornando-se uma parte importante do novo paradigma de desenvolvimento de aplicações de IA generativa.
Ao usar imagens para pesquisar imagens ou texto para pesquisar texto, o que é armazenado e comparado no banco de dados não são as imagens e os videoclipes, mas os "recursos" extraídos por meio de algoritmos como o aprendizado profundo. O processo de extração de "recursos" é chamado de incorporação.Os "recursos" extraídos são representados por vetores em matemática. O objetivo da vetorização é recuperar dados não estruturados por meio de similaridade vetorial, para que os dados vetorizados possam ser melhor compreendidos e utilizados pelo modelo de IA. Um banco de dados vetorial é um sistema de banco de dados usado para produzir, armazenar, indexar e analisar dados vetoriais massivos gerados a partir de modelos de aprendizado de máquina. Seus cenários de aplicação típicos incluem: atendimento inteligente ao cliente baseado em grandes modelos de linguagem, perguntas e respostas baseadas na base de conhecimento empresarial e aplicações de ferramentas como Chatdoc.
A evolução da tecnologia de banco de dados vetorial Volcano Engine
● Construir uma arquitetura distribuída que separe armazenamento e computação
Dentro do Grupo Douyin, os primeiros motores de busca vetorizados foram construídos em torno de negócios de pesquisa, recomendação e publicidade. Como esses negócios têm naturalmente enormes escalas de dados, desde o início foi necessário pensar em como suportar centenas de milhares de índices vetoriais em o índice vetorial. Existem centenas de milhões de requisitos de recuperação de dados. Por exemplo, Tu Chong tem centenas de milhões de materiais fotográficos e a escala de quantidade já excedeu o limite da memória de uma única máquina. Por exemplo, para 100 milhões 128- vetores Float dimensionais, sem considerar quaisquer estruturas auxiliares, seriam necessários 100000000 * 128 * 4 bytes, ou seja, cerca de 48 GB de memória do servidor.
A equipe de P&D projetou uma arquitetura de sistema distribuído que separa armazenamento e computação para realizar fragmentação e orquestração distribuída de dados vetoriais. Por meio de armazenamento vetorial, construção em lote e recuperação on-line em tempo real, ele pode resolver o problema de vários índices para um vetor e suportar vários problemas de cena e, ao mesmo tempo, também pode salvar estruturas de índice