Nos últimos dois anos, passamos por uma jornada de exploração tecnológica, mas na verdade encontramos muitos desafios no processo. Porque normalmente a arquitetura de separação de armazenamento e cálculo é usada principalmente para bancos de dados OLAP. Nos bancos de dados OLAP tradicionais, a frequência das atualizações de dados é relativamente baixa.
Embora alguns bancos de dados OLAP suportem operações de atualização, os recursos de atualização e exclusão são relativamente limitados. Além disso, os bancos de dados OLAP geralmente exigem baixa latência de consulta, e tempos de consulta de alguns segundos ou dezenas de segundos são suficientes para atender às necessidades de negócios do front-end. No entanto, os bancos de dados vetoriais são completamente diferentes.
Primeiro, o banco de dados vetorial precisa suportar operações de atualização frequentes, e essas atualizações podem ser operações em lote em grande escala. Portanto, um banco de dados vetorial deve ter fortes recursos de armazenamento que possam suportar atualizações de streaming. Em segundo lugar, os cenários de aplicação dos bancos de dados vetoriais são muito diferentes dos bancos de dados OLAP. Diferentes cenários de aplicação têm diferentes requisitos de latência de consulta.
Por exemplo, em um sistema de recomendação, os usuários podem exigir um atraso de consulta de vários milissegundos ou até dezenas de milissegundos, no máximo. Isto requer um mecanismo de cache eficiente, incluindo cache de disco local e cache de memória, sob uma arquitetura onde o armazenamento e a computação são separados. Ao mesmo tempo, ao agendar recursos, você também precisa considerar como evitar o jitter da solicitação durante a expansão e contração para garantir a estabilidade.
Durante nosso processo de exploração, a equipe vem explorando constantemente e até hoje não acreditamos que nossa solução tenha atingido a perfeição. É por isso que faremos alguns ajustes arquitetônicos ao atualizar nossa versão principal da 2.3 para a 2.4. Percebemos que, como exploradores da indústria e