Zilliz unterstützt weiterhin KI-Anwendungsentwickler!
Kürzlich hat Zilliz eine Kooperation mit dem Zhiyuan Research Institute geschlossen, um verschiedene BGE- Open-Source-Modelle ( BAAI General Embedding ) in die Open-Source- Vektordatenbank Milvus zu integrieren.Dank der neu eingeführten Unterstützung für Sparse Vector (sparse Vector) und Multi-vector (multi-vector) in Milvus 2.4 haben Entwickler eine Vielzahl von Möglichkeiten, nicht nur das in der Branche weit verbreitete Dense Em-Betting (dichtes Vektormodell), sondern auch auch die Verwendung der neuesten BGE-Modelle Sparse Embedding (Sparse-Retrieval-Modell) und Reranker (Reranking). Entwickler können diese Tools problemlos kombinieren, um eine leistungsfähigere Retrieval-Lösung zu erstellen, die semantische Retrieval-, Volltext-Retrieval- und verfeinerte Ranking-Funktionen abdeckt.
Die Integration von BGE und Milvus verbessert umfassend die Qualität von RAG bei gleichzeitiger Wahrung der Flexibilität und kann KI-Anwendungsentwicklern besser dienen.
01.
Sparse Embedding und Reranker: Neue Trends zur Verbesserung von RAG
RAG (Retrieval Augmented Generation) ist eine Technologie, die aus externen Wissensdatenbanken abgerufene Informationen nutzt, um die Genauigkeit und Zuverlässigkeit großer Sprachmodelle zu verbessern. RAG ist nachweislich in der Lage, eine Reihe von Kernproblemen, die die Anwendung großer Modelle behindern (wie Halluzinationen, schlechte Aktualität, unzureichende Fachkenntnisse, Datensicherheitsprobleme usw.), effektiv zu lösen . Die Einbettung von Modellen und Vektordatenbanken ist der Schlüssel zur Verwirklichung dieser Lösung. Bessere Modelle und Vektordatenbanken mit umfangreicheren Funktionen können die Qualität von RAG-Antworten effektiv verbessern und großen Sprachmodellen zu einem besseren Terminal-Q&A-Erlebnis verhelfen.
Aufgrund der Einschränkungen der grundlegenden Schemata für dichte Einbettung und Vektorrückruf ist der endgültige Effekt von RAG jedoch in einigen Szenarien nicht zufriedenstellend . Derzeit tendiert die Branche dazu, zwei Lösungen zu übernehmen, um die Qualität der Fragen und Antworten der RAG zu verbessern:
Option eins besteht darin, Sparse Vector und Dense Vector zu verwenden, um einen bidirektionalen Rückruf durchzuführen. Unter anderem kann Sparse Vector die Funktionen der herkömmlichen Volltextsuche abdecken und dabei helfen, bestimmte Schlüsselwörter zu identifizieren und zu erfassen, während Dense Vector die gesamten semantischen Informationen im Text effektiver erfassen kann. Durch die Integration der Ergebnisse dieser beiden Vektorrückrufe können umfangreichere und umfassendere Informationen gewonnen werden, wodurch die Wirksamkeit von RAG verbessert wird.
Option zwei : Verwenden Sie Cross-Encoder Reranker als zweite Ebene des Feinrankings. Verwenden Sie zunächst Dense Vector, Sparse Vector oder eine Kombination aus beiden für eine grobe Rangfolge. Verwenden Sie dann das Reranker-Modell, um die Ergebnisse der ersten Stufe weiter zu filtern und zu sortieren, um die Qualität der Endergebnisse zu verbessern.
Es ist erwähnenswert, dass Option eins unabhängig verwendet werden kann, d. h. die Verwendung eines regelbasierten Algorithmus zum Zusammenführen der Ergebnisse des bidirektionalen Rückrufs, wie z. B. der häufig verwendeten RRF Reciprocal Rank Fusion (RRF), oder sie kann in verwendet werden Kombination mit Option zwei, d. h. Verwendung von Cross-Encoder Reranker Merge und Neuordnung der Zwei-Wege-Ergebnisse.
02.
Milvus arbeitet mit BGE zusammen, um die Qualitätsprobleme der RAG flexibel zu lösen
Milvus ist eine Open-Source-Vektordatenbank für KI-Anwendungen, die der Vektorsuche und der Verwaltung unstrukturierter Daten dient. Es wurde ursprünglich von der Firma Zilliz ins Leben gerufen und 2019 als Open Source bereitgestellt. Seit seiner Einführung ist Milvus in der KI-Entwickler-Community und bei Unternehmensanwendern beliebt und weit verbreitet. Mit mehr als 26.000 Sternen und mehr als 260 Mitwirkenden auf GitHub wurde Milvus weltweit mehr als 20 Millionen Mal heruntergeladen und installiert Eine der am weitesten verbreiteten Vektordatenbanken der Welt.
Vor nicht allzu langer Zeit veröffentlichte Xingjue, Gründer und CEO von Zilliz, auf der NVIDIA GTC-Konferenz offiziell die Milvus 2.4-Version, die als revolutionäres Upgrade in der Branche bezeichnet werden kann. Neben den heiß diskutierten GPU-basierten Vektorindizierungs- und Suchbeschleunigungsfunktionen ist auch die Unterstützung von Sparse Vector und Multi-Vector ein Highlight. Die Integration von Milvus und Zhiyuan BGE vereint nicht nur die Sparse Embedding-, Multi-Channel-Recall- und Reranker-Funktionen, die zur gleichzeitigen Verbesserung der RAG-Qualität erforderlich sind, sondern stellt Entwicklern auch mehrere Typen und mehrstufige Recall-Lösungen zur Verfügung, um Entwickler entsprechend den tatsächlichen Anforderungen zu unterstützen KI-Anwendungen flexibel erstellen.
Das dieses Mal gemeinsam mit Milvus entwickelte BGE ist ein universelles semantisches Modell, das vom Intelligent Source Research Institute erstellt wurde. Seit seiner ersten Veröffentlichung im August 2023 hat das Zhiyuan-Team nacheinander die chinesischen und englischen Modelle BGE v1.0, v1.5 und das BGE-M3-Modell auf den Markt gebracht, das mehr als 100 Sprachen und mehrere Rückrufmethoden unterstützt. Bisher wurden die Modelle der BGE-Serie weltweit mehr als 15 Millionen Mal heruntergeladen und stehen damit an erster Stelle unter den inländischen Open-Source-KI-Modellen. Das Modell BGE-M3 gehörte einst zu den drei beliebtesten Hugging Face-Modellen. Im neuesten Milvus 2.4-Client wird eine einfache und benutzerfreundliche Funktionskapselung für das BGE-Modell bereitgestellt. Entwickler können eine Vielzahl von BGE-Open-Source-Modellen bequemer nutzen und mit der Milvus-Vektordatenbank zusammenarbeiten, um Rückruflösungen mit mehreren Kanälen und mehreren Ebenen zu erstellen und so die RAG-Qualität umfassend zu verbessern. Zu den bisher integrierten BGE-Open-Source-Modellen gehören:
Einbettungsmodell
BAAI/bge-m3
BAAI/bge-large-en-v1.5
BAI/bge-base-en-v1.5
BAY/bge-small-en-v1.5
BAAI/bge-large-zh-v1.5
BAAI/bge-base-zh-v1.5
BAAI/bge-small-zh-v1.5
Reranker-Modell
BAAI/bge-reranker-v2-m3
BAAI/bge-reanchor-large
BAAI/bge-reranker-base
03.
Codebeispielanzeige
Ab Version 2.4 hat der Milvus-Python-Client neue pymilvus[model]Komponenten hinzugefügt, sei es Sparse Vector in Kombination mit dem Mehrweg-Rückruf von Dense Vector oder die Verwendung von Cross-Encoder Reranker, um die Relevanz des Rückrufs der ersten Ebene zu verbessern, die von bereitgestellten Modellkomponenten Milvus sind flexible Bodenunterstützungsgeräte.
Sie können beispielsweise pip install pymilvus[model]problemlos den vom BGE-M3-Modell generierten dichten Vektor verwenden, um eine Vektorsuche nach dem nächsten Nachbarn durchzuführen, und das BGE-Reranker-Modell verwenden, um die Ergebnisse zu verfeinern:
from pymilvus.model.hybrid import BGEM3EmbeddingFunction
from pymilvus.model.reranker import BGERerankFunction
client = MilvusClient(uri="http://localhost:19530")
embed_fn = BGEM3EmbeddingFunction(device='cuda:0')
rerank_fn = BGERerankFunction(device="cuda:0")
query = "tell me information about France."
query_vector = [embed_fn([query])["dense"][0]]
# Search for top 20 nearest neighbour vectors
retrieved_results = client.search(collection_name="my_collection", data=query_vector, limit=20, output_fields=["text"])
# Rerank the vector search results and select the top 5
final_results = rerank_fn(query, [result['entity']['text'] for result in retrieved_results[0]], top_k=5)
Darüber hinaus können weitere Fälle unter dem Link (https://github.com/milvus-io/pymilvus/blob/master/examples/hello_hybrid_sparse_dense.py) eingesehen werden.
04.
未来展望
Zilliz 作为向量数据库行业的引领者，此次与业界领先的智源研究院合作，支持基于开源 BGE 模型和 Milvus 向量数据库的多种召回方案，集成了两者对 Sparse Embedding 和 Reranker 的支持，极大地便利了 RAG 开发者。
Zilliz 生态集成和 AI 平台负责人陈将表示：“未来，Milvus 将持续与智源在模型研究、开发者推广等方面深度合作，助力 AI 应用的进一步普及和提升。”
智源研究院 BGE 团队负责人表示：“ 智源研究院 BGE 负责人表示：“ BGE 和 Milvus 的集成，为社区用户快速搭建“三位一体的”（稠密检索、稀疏检索、重排序）检索流水线带来的极大便利。未来期待与像 Zilliz 这样行业优秀的企业进一步合作，共同为 AI 应用开发者赋能。”
本文分享自微信公众号 - ZILLIZ（Zilliztech）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。