A medida que las bases de datos vectoriales representadas por Milvus se vuelven cada vez más populares en la industria de la inteligencia artificial, las bases de datos tradicionales y los sistemas de recuperación también han comenzado a competir en la rápida integración de complementos especializados de recuperación de vectores.
Por ejemplo, Weaviate lanzó una base de datos vectorial de código abierto, que se destaca por su facilidad de uso, facilidad de uso para los desarrolladores, inicio rápido y documentación API completa. De manera similar, la base de datos vectorial Zilliz Cloud/Milvus ha atraído mucha atención debido a su capacidad para procesar datos masivos con alto rendimiento y baja latencia.
Ambos están diseñados específicamente para datos vectoriales, pero son adecuados para diferentes escenarios. Weaviate es más adecuado para desarrolladores que necesitan integrar rápidamente bases de datos vectoriales. Si el sistema de aplicaciones presta más atención a la escalabilidad, el alto rendimiento y la baja latencia, Zilliz Cloud/Milvus es una opción más adecuada porque su arquitectura es más flexible, tiene mejor rendimiento y es más estable. Es adecuado para escenarios que tienen requisitos estrictos. requisitos sobre indicadores de desempeño.
Este artículo dejará de lado estas diferencias superficiales y profundizará en las diferencias entre Weaviate Cloud y Zilliz Cloud comparando sus resultados comparativos de rendimiento y las características relacionadas de Weaviate Cloud.
01.Weaviate Cloud vs Zilliz Cloud: competencia de rendimiento
Recientemente, a medida que el sistema de generación aumentada de recuperación (RAG) sigue siendo popular, los desarrolladores se han vuelto cada vez más confundidos acerca de "cómo elegir una base de datos vectorial". Durante las últimas semanas, hemos realizado una comparación detallada entre Weaviate Cloud y Zilliz Cloud en términos de rendimiento y capacidades de funciones. Durante el proceso de comparación, utilizamos el conjunto de pruebas de rendimiento de código abierto VectorDBBench para realizar pruebas en torno a indicadores clave como consultas por segundo (QPS), consultas por dólar (QP$) y latencia.
Conjunto de datos para pruebas.
Los siguientes son los dos tipos de conjuntos de datos utilizados en la prueba:
-
El conjunto de datos 1 contiene 1.000.000 de datos vectoriales de 768 dimensiones.
-
El conjunto de datos 2 contiene 500.000 datos vectoriales de 1.536 dimensiones.
Objeto de prueba
Los siguientes son ejemplos utilizados durante las pruebas. Estas instancias tienen configuraciones de hardware básicamente similares:
-
Zilliz Cloud (1cu-perf): instancia de rendimiento de Zilliz Cloud 1 CU
-
Zilliz Cloud (1cu-cap): instancia de capacidad de 1 CU de Zilliz Cloud
-
Zilliz Cloud (2cu-cap): instancia de capacidad de Zilliz Cloud 2 CU
-
Nube Weaviate (Estándar)
-
Weaviate Cloud (crítico para el negocio)
Nota: Para obtener más información sobre la Unidad de Computación en la Nube (CU) de Zilliz, puede consultar Adaptación de varias aplicaciones de modelos grandes. Una guía paso a paso para elegir un tipo de instancia de Zilliz Cloud.
Consultas por segundo (QPS)
Los resultados de la prueba muestran que al recuperar 1.000.000 de datos vectoriales de 768 dimensiones, el QPS de las tres instancias de Zilliz Cloud es 9 veces, 8 veces y 5 veces mayor que el de la instancia de Weaviate Cloud (Business Critical), respectivamente.
Al recuperar 500.000 datos vectoriales de 1.536 dimensiones, el QPS de las tres instancias de Zilliz Cloud fue 8 veces, 6 veces y 3 veces mayor que el de la instancia de Weaviate Cloud (estándar).
La siguiente figura muestra la puntuación de rendimiento (escala porcentual) de cada instancia en diferentes casos de uso. Cuanto mayor sea la puntuación, mayor será el rendimiento. Para obtener más información, consulte https://github.com/zilliztech/VectorDBBench/tree/main#leaderboard .
Se puede ver que Zilliz Cloud aplasta por completo a Weaviate Cloud en este indicador.
Consultas por dólar (QP$)
Al recuperar 1.000.000 de datos vectoriales de 768 dimensiones, el QP$ de las tres instancias de Zilliz Cloud es 520 veces, 332 veces y 292 veces el de la instancia de Weaviate Cloud (estándar), respectivamente.
Al recuperar 500.000 datos vectoriales de 1.536 dimensiones, el QP$ de las tres instancias de Zilliz Cloud fue 403 veces, 258 veces y 194 veces el de la instancia de Weaviate Cloud (estándar), respectivamente.
La siguiente figura muestra la puntuación de rendimiento (escala porcentual) de cada instancia en diferentes casos de uso. Cuanto mayor sea la puntuación, mayor será el rendimiento.
Se puede ver que Zilliz Cloud aplasta por completo a Weaviate Cloud en este indicador.
Demora
Al recuperar 1.000.000 de datos vectoriales de 768 dimensiones, las latencias P99 de las tres instancias de Zilliz Cloud son 26, 20 y 19 veces mayores que las de la instancia de Weaviate Cloud (Business Critical), respectivamente.
Al recuperar 500.000 piezas de datos vectoriales de 1.536 dimensiones, las latencias P99 de las tres instancias de Zilliz Cloud fueron 32 veces, 18 veces y 7 veces mayores que las de la instancia de Weaviate Cloud (Business Critical), respectivamente.
La siguiente figura muestra las puntuaciones de rendimiento (escala >1 punto) de cada instancia en diferentes casos de uso https://zilliz.com/vector-database-benchmark-tool#comparison-section Cuanto más cerca esté la puntuación de 1, mayor más fuerte el rendimiento.
Se puede ver que Zilliz Cloud aplasta por completo a Weaviate Cloud en este indicador.
Los resultados de las pruebas comparativas de rendimiento anteriores los proporciona la herramienta de código abierto VectorDBBench https://github.com/zilliztech/VectorDBBench . En la página de inicio de GitHub de la herramienta, también puede ver la clasificación de las bases de datos vectoriales. VectorDBBench proporciona puntos de referencia de pruebas de rendimiento imparciales para bases de datos vectoriales convencionales y servicios en la nube relacionados. Esta herramienta es fácil de usar y ayuda a los desarrolladores a encontrar fácilmente la mejor opción entre numerosos servicios en la nube de bases de datos vectoriales y bases de datos vectoriales de código abierto.
02. Comparación de funciones de Weaviate Cloud
A medida que la cantidad de datos que las bases de datos vectoriales pueden almacenar aumenta exponencialmente, el rendimiento se ha convertido en un desafío importante para las bases de datos vectoriales. Para garantizar el rendimiento de la recuperación de datos, la escalabilidad horizontal entre nodos de la base de datos es crucial. Además, las diferencias en la tasa de inserción de datos, la tasa de recuperación y el hardware subyacente pueden dar lugar a diferentes requisitos de aplicación, lo que también hace que las capacidades de ajuste de parámetros globales sean una de las capacidades esenciales de las bases de datos vectoriales.
¿Por qué nacen las bases de datos vectoriales?
Una base de datos vectorial es una solución totalmente administrada para almacenar, indexar y recuperar representaciones vectoriales de datos no estructurados generados por modelos de aprendizaje automático. Debe proporcionar las siguientes características:
-
Capacidades de escalabilidad y ajuste de parámetros.
-
Multiinquilino y aislamiento de datos
-
Paquete completo de API
-
Interfaz de usuario y consola intuitivas
Escalabilidad
Función
especialmente construido
Para obtener más detalles, consulte la página de comparación https://zilliz.com.cn/comparison/milvus-vs-weaviate .
Alibaba Cloud sufrió un fallo grave y todos los productos se vieron afectados (restaurados). Tumblr enfrió el sistema operativo ruso Aurora OS 5.0. Se presentó la nueva interfaz de usuario Delphi 12 y C++ Builder 12, RAD Studio 12. Muchas empresas de Internet contratan urgentemente programadores de Hongmeng. Tiempo UNIX está a punto de entrar en la era de los 1.700 millones (ya entró). Meituan recluta tropas y planea desarrollar la aplicación del sistema Hongmeng. Amazon desarrolla un sistema operativo basado en Linux para deshacerse de la dependencia de Android de .NET 8 en Linux. El tamaño independiente es reducido en un 50%. Se lanza FFmpeg 6.1 "Heaviside"