2023 está destinado a ser o auge de grandes modelos e bancos de dados vetoriais. O desenvolvimento de modelos nacionais de grande escala também trouxe oportunidades sem precedentes, e os " cem modelos " estão em pleno andamento. Na recém-concluída Conferência Mundial de Inteligência Artificial, empresas nacionais e estrangeiras de tecnologia participaram em todos os aspectos, e mais de 30 modelos em grande escala foram revelados . Como uma " memória de grande modelo " e uma parte importante do novo paradigma de desenvolvimento de aplicativos AIGC , a evolução do banco de dados de vetores atingiu gradualmente um novo patamar sem precedentes.
Desde que o Milvus foi oficialmente de código aberto em 2019 , ele se tornou o maior e mais ativo projeto de código aberto de banco de dados de vetores e comunidade de desenvolvedores do mundo. Como desenvolvedora e operadora por trás do Milvus , a Zilliz tem estado na vanguarda dos bancos de dados vetoriais, sempre aderindo ao conceito de fornecer aos desenvolvedores serviços de banco de dados vetoriais fáceis de usar e econômicos. Após cinco anos de polimento contínuo, o Zilliz Cloud, um produto de serviço de nuvem de banco de dados vetorial totalmente gerenciado baseado em Milvus , foi finalmente lançado na China .
Após desenvolvimento e atualização contínuos, o Zilliz Cloud tornou-se líder na faixa de banco de dados de vetores. Com a Zilliz Cloud lançando totalmente os serviços de nuvem de banco de dados vetoriais na China, também abriu uma nova era para o rápido desenvolvimento de bancos de dados vetoriais. Para o pouso do serviço doméstico desta vez, a missão e os objetivos de Zilliz são particularmente claros e claros:
• Oferecer o serviço de nuvem de banco de dados vetorial totalmente gerenciado mais profissional do mundo.
• Quebre a situação embaraçosa de que o serviço de banco de dados de vetores está concentrado na América do Norte e não há nenhum serviço de banco de dados de vetores disponível na China.
• Cumpra os requisitos multinuvem do serviço de banco de dados de vetores e evite que os negócios sejam restringidos por um único ambiente de nuvem.
• Fornecer viabilidade para o serviço de banco de dados vetorial unificado e arquitetura necessária em negócios internacionais.
• Solução de código aberto Milvus , padrão de interface unificada SaaS , PaaS , migração offline / nuvem perfeita e reduz consideravelmente o custo abrangente da implantação híbrida.
• Fornecer produtos e soluções com desempenho de custo mais alto e suporte de serviço mais estável do que o Milvus de código aberto.
Maduro e estável, o primeiro do mundo a oferecer suporte a serviços em escala vetorial de bilhões
O Milvus sempre foi a primeira escolha para os usuários corporativos construírem sua própria plataforma de dados desde que era de código aberto.vetoriais
O banco de dados vetorial é um complemento importante para o grande modelo AIGC e é um suporte essencial para fornecer " memória " precisa, confiável e altamente escalável de curto e longo prazo . No ano passado, projetos de banco de dados de vetores surgiram como cogumelos depois da chuva. No entanto, a escala de dados vetoriais suportada pela maioria dos bancos de dados vetoriais é apenas da ordem de dezenas de milhões e eles não têm a capacidade de suportar o ambiente de produção.
Em contraste, os cenários de aplicativos do cliente da Milvus nos últimos cinco anos cobriram todas as esferas da vida e, já em 2021 , alcançou suporte estável para serviços online com uma escala vetorial de bilhões de níveis . Hoje, o serviço de banco de dados vetorial da Zilliz Cloud pode facilmente suportar dados vetoriais de mais de um bilhão de níveis, e a disponibilidade é de até 99,9% .
Além disso, por trás do produto e da tecnologia, a Zilliz também possui a equipe de especialistas em banco de dados de vetores mais experiente do mundo, que pode fornecer a cada usuário corporativo 4 funcionários de suporte técnico. " Ninguém conhece o banco de dados de vetores melhor do que nós " é a compreensão da equipe do comunidade de código aberto e compromisso do usuário comercial.
Alto desempenho + desempenho de alto custo, excelente desempenho excede em muito produtos similares
O atual algoritmo de indexação de dados vetoriais é um algoritmo de memória ou um híbrido de memória /SSD . O núcleo do algoritmo é baseado principalmente no cálculo de matriz (semelhante ao HPC ). A recuperação e análise de vetores em larga escala é uma tarefa duplamente intensiva de cálculo e memória . Isso significa que os bancos de dados vetoriais são mais sensíveis ao desempenho e ao custo como infraestrutura.
Do ponto de vista do desempenho, o Zilliz Cloud é muito superior a outros produtos similares em termos de QPS e latência de consulta reduzida. Apresentaremos Zilliz Cloud , Milvus , Pinecone e ElasticCloud quatro bancos de dados vetoriais comuns ( ElasticCloud não é estritamente um banco de dados vetorial, mas possui recursos vetoriais e tem o público mais amplo no campo da recuperação de texto tradicional. Pode ser considerado o tradicional banco de dados com suporte à recuperação de vetores.representante) foram comparados sob as mesmas condições dos 6 conjuntos de tarefas de consulta de vetores (a estrutura de teste foi de código aberto, consulte VectorDBBench , Tabela de classificação para obter detalhes ).
Os resultados da comparação são os seguintes:
Em termos de taxa de transferência de consulta, o Zilliz Cloud superou totalmente o banco de dados de vetores de referência norte-americano Pinecone em todos os 6 grupos de tarefas de consulta , e o desempenho geral foi em média mais de 2 vezes . Ao mesmo tempo, em comparação com o Milvus , o Zilliz Cloud quase dobrou seu desempenho, o que é impressionante. Como representante dos serviços tradicionais de recuperação de texto, o recurso de consulta vetorial do ElasticCloud é principalmente um recurso complementar. O QPS dessas seis tarefas de consulta está abaixo de 50 .
Em termos de latência de consulta , Zilliz Cloud está abaixo de 10 ms no geral , Milvus está abaixo de 20 ms no geral , Pinecone está entre 20-40 ms e ElasticCloud é significativamente diferente.
Em termos de desempenho de custo, examinamos principalmente as consultas por dólar ( o número de solicitações de consulta que podem ser suportadas pelo custo unitário sob alta simultaneidade ) . Comparado com Pinecone e Elastic , Zilliz Cloud tem vantagens óbvias. Em comparação com a pinha classificada em segundo lugar , os indicadores podem ser até 1 ordem de grandeza mais altos ( Q1, Q2 ) e geralmente cerca de 3 vezes mais altos nos quatro grupos de tarefas restantes . (Como o Milvus é uma solução de código aberto, é difícil compará-lo com serviços comerciais sob o mesmo padrão, por isso o removemos neste grupo de testes.)
Com a bênção da tecnologia preta, o desempenho do software e do hardware disparou e o novo kernel está totalmente acionado
O Zilliz Cloud usa um mecanismo comercial e seu desempenho abrangente é mais que o dobro do mecanismo de código aberto Milvus . O mecanismo é profundamente otimizado para cenários típicos e o desempenho pode ser melhorado de 3 a 5 vezes.
No nível de hardware, a Zilliz tem uma cooperação estável e de longo prazo com fabricantes de hardware de primeira linha, como Nvidia e Intel. O kernel do algoritmo vetorial é personalizado e otimizado para X86 , ARM e GPU .
Ao nível do software, a Zilliz Cloud lançou o índice inteligente Autoindex . O índice inteligente realiza ajuste automático contínuo com base na dimensão do vetor do usuário, tamanho dos dados, distribuição de dados e características de consulta, eliminando a dificuldade de seleção do tipo de índice do usuário e ajuste de parâmetro. De acordo com o teste interno da Zilliz , o índice inteligente de indexação automática atingiu 84% do efeito de ajuste manual dos especialistas em banco de dados de vetores , superando em muito o nível médio dos usuários. No próximo estágio, a função do índice inteligente de índice automático será bastante aprimorada e o usuário poderá especificar a recuperação para otimização para garantir que o índice seja executado no ponto ideal da precisão da consulta especificada.
Obviamente, para o aplicativo AIGC recentemente popular , o Zilliz Cloud também lançou suporte a recursos especiais :
• Esquema dinâmico , que pode expandir com flexibilidade recursos de vetor ou campos de rótulos de acordo com as necessidades de iteração do AIGC .
• Partition Key , uma ferramenta poderosa que oferece suporte a AIGC para aplicar base de conhecimento multiusuário, em comparação com o esquema de criação de tabela única, o custo total pode ser reduzido em 2 a 3 ordens de grandeza.
• Oferece suporte ao tipo JSON , que pode combinar JSON e incorporação , esses dois super recursos, para realizar a representação híbrida de dados e lógica de negócios complexa com base em JSON e vetores de incorporação .
Quebrando o triângulo impossível "CAP" e dando aos usuários escolhas flexíveis
O desenvolvimento da tecnologia de banco de dados vetorial não é perfeito até agora. Normalmente, o negócio precisa fazer uma compensação entre custo ( Cost ), efeito e precisão da consulta ( Accuracy ) e desempenho da consulta ( Performance ), ou seja, o problema CAP de banco de dados de vetores. Atualmente, CAP é um triângulo impossível. A solução de Zilliz é fornecer soluções ótimas locais em posições típicas e dar aos usuários escolhas flexíveis.
Na verdade, os cenários comuns dos usuários podem ser resumidos como exigentes em desempenho, exigentes em capacidade e sensíveis ao custo. Para isso, o Zilliz Cloud também fornece três tipos de suporte na instância do banco de dados vetorial: tipo de desempenho, tipo de capacidade e tipo econômico . Diferentes tipos de instância são compostos por diferentes algoritmos e recursos de hardware e são adequados para diferentes cenários de negócios.
• As instâncias de desempenho são adequadas para cenários de recuperação de similaridade vetorial que exigem baixa latência e alto throughput.Esse tipo de instância pode garantir respostas em nível de milissegundos.
Cenários aplicáveis para instâncias de desempenho incluem, entre outros: IA generativa , sistemas de recomendação, mecanismos de pesquisa, chatbots, revisão de conteúdo, base de conhecimento aprimorada por LLM e controle de risco financeiro.
• A instância de capacidade pode suportar cinco vezes a quantidade de dados que a instância de desempenho , mas o atraso da consulta é ligeiramente aumentado, portanto, é adequado para cenários que exigem uma grande quantidade de espaço de armazenamento, especialmente aqueles que precisam processar dezenas de milhões de dados vetoriais.
Cenários aplicáveis para instâncias baseadas em capacidade incluem, mas não estão limitados a: pesquisa de dados não estruturados em grande escala (como texto, imagens, áudio, vídeo, estruturas químicas de drogas etc.), detecção de violação e autenticação biométrica.
• A instância econômica pode suportar a mesma escala de dados que a instância de capacidade, mas o preço é de cerca de 30 % de desconto e o desempenho é ligeiramente reduzido. É adequado para cenários que buscam desempenho de alto custo ou são sensíveis ao orçamento.
Cenários aplicáveis para instâncias econômicas incluem, mas não estão limitados a: rotulagem de dados ou agrupamento de dados, desduplicação de dados, detecção de anomalias de dados e distribuição balanceada de tipos de conjunto de treinamento.
Suporta cobertura ecológica completa de grandes modelos e processamento de dados não estruturados
Nenhum sistema pode atender a todas as necessidades de negócios dos usuários, e o mesmo vale para bancos de dados vetoriais. Em empresas apoiadas por bancos de dados vetoriais, muitas vezes é necessário lidar com vários processos, incluindo:
• Estruturação semântica de dados de negócios, como classificação de incorporação de título , incorporação de parágrafo de conteúdo , tópicos primários e secundários e tempo de leitura de dados de texto;
• Seleção de modelo para efeitos end-to-end, como encontrar a seleção de modelo de incorporação que pode trazer os melhores resultados;
• A integração do modelo e do banco de dados vetorial, como a recuperação dos dados originais conduzidos pela consulta ao banco de dados vetorial e o resumo LLM subsequente ou reconstrução do conteúdo recuperado, etc.
Para reduzir ainda mais os custos de construção de aplicativos e fornecer componentes padronizados, o Zilliz Cloud oferece aos desenvolvedores suporte duplo:
• Atracação ecológica modelo grande. Em março de 2023 , Zilliz , como o primeiro lote de parceiros de banco de dados de vetores da OpenAI , concluiu a integração do plug-in de Milvus e Zilliz Cloud e foi incluído na lista de plug-ins de banco de dados de vetores oficialmente recomendados. Além disso, o Zilliz tem integração profunda com projetos populares como LangChain , Cohere , LlamaIndex , Auto-GPT , BabyAGI , etc. Além disso, o trabalho de encaixe com modelos domésticos de grande escala, como Wenxin Yiyan, Tongyi Qianwen, Zhipu AI , MiniMax , 360 Zhinao, etc. está em andamento e mais resultados serão divulgados em um futuro próximo.
• Processamento de pipelines para dados não estruturados. Zilliz Cloud fornece a estrutura de ferramenta Towhee de código aberto . Os desenvolvedores podem escrever seus próprios pipelines em um ambiente Python familiar com sintaxe de operador semelhante ao Spark e processar facilmente processos ETL para dados não estruturados, como texto, imagens, áudio, vídeo e estruturas compostas. Towhee também fornece ferramentas de orquestração automatizadas. Pipelines verificados com um clique no ambiente Python são organizados em imagens de serviço baseadas em Triton , TensorRT , ONNX e uma série de algoritmos de aceleração de hardware, orientados para cenários típicos, como pesquisa aproximada de texto, resposta inteligente a perguntas, e base de conhecimento. Obviamente, o Towhee também fornece um pipeline padrão profundamente otimizado.
Atualmente, a Zilliz Cloud fornece serviços SaaS e PaaS , entre os quais SaaS cobriu AWS , GCP e Alibaba Cloud, e PaaS cobriu AWS , GCP , Azure , Alibaba Cloud, Baidu Smart Cloud, Tencent Cloud e Kingsoft Cloud. O site oficial doméstico foi lançado simultaneamente. Para mais detalhes e casos, visite Https://zilliz.com.cn (site oficial no exterior e entrada do serviço de nuvem: Https://zilliz.com ).
A fim de acelerar o polimento das melhores práticas do setor, estamos prestes a lançar o evento especial "Procurando por estrelas da prática CVP na era AIGC ". A Zilliz cooperará com os principais fabricantes nacionais de modelos de grande escala para selecionar cenários de aplicação, e ambas as partes fornecerão bancos de dados vetoriais e modelos em grande escala. Os principais especialistas técnicos para capacitar o usuário, aprimorar o aplicativo em conjunto, melhorar o efeito de aterrissagem e capacitar o próprio negócio. Se o seu aplicativo também for adequado para a estrutura CVP e você estiver preocupado com a implementação e o efeito real do aplicativo, poderá se inscrever diretamente para participar da atividade e obter a ajuda e orientação mais profissionais. (Observação: CVP significa que C significa LLMs representados por ChatGPT , V significa Vector DB , P significa Prompt Engineering , consulte [email protected] para obter informações de contato )
Com a eclosão de AGI e LLMs em meados de 2023 , é iminente acelerar a exploração do caminho para o desembarque de grandes modelos. O alto grau de consenso na indústria está impulsionando o advento da singularidade da IA , e o grande modelo reconstruirá aplicativos de nível empresarial e remodelará a direção de desenvolvimento da indústria de inteligência artificial. Zilliz disse que, no futuro, continuará a se concentrar na vanguarda do desenvolvimento da indústria de banco de dados vetorial, visando a evolução inteligente de várias indústrias e fornecerá a "memória de modelo grande" mais competitiva para empresas e desenvolvedores nos grandes era modelo .