Zilliz は AI アプリケーション開発者を支援し続けます。
最近、Zilliz は Zhiyuan Research Institute と協力し、さまざまな BGE (BAAI General Embedding) オープン ソース モデルをオープン ソース ベクトル データベース Milvus と統合しました。 Milvus 2.4 で新しく開始された Sparse Vector (スパース ベクトル) と Multi-vector (マルチベクトル) のサポートのおかげで、開発者は、業界で広く使用されている Dense Embedding (密ベクトル モデル) だけでなく、また、BGE の使用も可能です。新しく開始された Sparse Embedding (スパース検索モデル) および Reranker (並べ替え) モデル。開発者は、これらのツールを簡単に組み合わせて、セマンティック検索、全文検索、洗練されたランキング機能をカバーする、より強力なリコール ソリューションを構築できます。
BGE と Milvus の統合により、柔軟性を維持しながら RAG の品質が包括的に向上し、AI アプリケーション開発者により良いサービスを提供できます。
01.Sparse Embedding と Reranker: RAG 改善の新しいトレンド
RAG (Retrieval Augmented Generation) は、外部の知識ベースから取得した情報を使用して、大規模な言語モデルの精度と信頼性を向上させるテクノロジーです。 RAG は、大規模モデルの適用を妨げる一連の中核的な問題 (幻覚、適時性の欠如、専門分野の知識の不足、データ セキュリティの問題など) を効果的に解決できることが証明されています。このソリューションを実現するには、埋め込みモデルとベクトル データベースが鍵となります。より豊富な機能を備えた優れたモデルとベクトル データベースは、RAG 応答の品質を効果的に向上させ、大規模な言語モデルでより優れた端末 Q&A エクスペリエンスを実現するのに役立ちます。
ただし、基本的な高密度埋め込みとベクトル リコール スキームの制限により、シナリオによっては RAG の最終的な効果が満足のいくものではありません。現在、業界では RAG の Q&A の品質を向上させるために 2 つのソリューションを採用する傾向があります。
オプション 1 は、Sparse Vector と Dense Vector を使用して双方向リコールを実行することです。その中で、Sparse Vector は従来の全文検索の機能をカバーし、特定のキーワードを識別して取得するのに役立ちます。一方、Dense Vector はテキスト内の全体的な意味情報をより効果的に取得できます。これら 2 つのベクトルリコールの結果を統合することにより、より豊富で包括的な情報が得られ、それにより RAG の有効性が向上します。
オプション 2: Cross-Encoder Reranker を細かいランキングの 2 番目のレイヤーとして使用します。まず、密ベクトル、疎ベクトル、またはその 2 つの組み合わせを使用して大まかなランク付けを行い、次にリランカー モデルを使用して第 1 段階の結果をさらにフィルタリングおよび並べ替えて、最終結果の品質を向上させます。
オプション 1 は独立して使用できること、つまり、ルールベースのアルゴリズムを使用して、一般的に使用される RRF Reciprocal Rank Fusion (RRF) などの双方向リコールの結果をマージすることもできることは注目に値します。オプション 2 と組み合わせます。つまり、Cross-Encoder Reranker を使用して、双方向の結果をマージし、並べ替えます。
02.MilvusはBGEと提携し、RAGの品質問題を柔軟に解決します
Milvus は AI アプリケーション用のオープンソース ベクトル データベースであり、ベクトル検索と非構造化データ管理を提供します。元々は Zilliz 社によって立ち上げられ、2019 年にオープンソース化されました。 Milvus は発売以来、AI 開発者コミュニティや企業ユーザーの間で人気があり、広く採用されており、GitHub 上には 26,000 人を超えるスターと 260 人を超える寄稿者がおり、世界中で 2,000 万回以上ダウンロードおよびインストールされています。世界で最も広く使用されているベクター データベースの 1 つ。
少し前に、Zilliz の創設者兼 CEO の Xingjue 氏は、NVIDIA GTC カンファレンスで Milvus 2.4 バージョンを正式にリリースしました。これは業界の革命的なアップグレードと言えます。話題になっている GPU ベースのベクトル インデックス作成機能と検索高速化機能に加えて、スパース ベクトルとマルチベクトルのサポートもハイライトです。 Milvus と Zhiyuan BGE の統合により、RAG 品質を向上させるために必要なスパース エンベディング、マルチチャネル リコール、リランカー機能が一度に集められるだけでなく、実際の状況に応じて開発者を支援する複数のタイプとマルチレベルのリコール ソリューションも開発者に提供されます。 AI アプリケーションを柔軟に構築します。
今回Milvusと共同開発したBGEは、知的情報源研究所が作成した普遍意味モデルです。 2023年8月の最初のリリース以来、Zhiyuanチームは中国語と英語のモデルBGE v1.0、v1.5、および100以上の言語と複数のリコール方法をサポートするBGE-M3モデルを連続してリリースしてきました。現在までに、BGE シリーズ モデルは全世界で 1,500 万回以上ダウンロードされ、国内のオープンソース AI モデルの中で第 1 位にランクされています。 BGE-M3モデルは、かつてハグフェイスの人気トップ3にランクインしたモデルです。最新の Milvus 2.4 クライアントでは、シンプルで使いやすい関数のカプセル化が BGE モデルに提供されています。開発者は、さまざまな BGE オープン ソース モデルをより簡単に使用し、Milvus ベクトル データベースと連携してマルチチャネルおよびマルチレベルのリコール ソリューションを構築し、RAG 品質を包括的に向上させることができます。これまでに統合された BGE オープン ソース モデルには次のものがあります。
埋め込みモデル
-
BAAI/bge-m3
-
BAAI/bge-large-en-v1.5
-
BAI/bge-base-en-v1.5
-
BAY/bge-small-en-v1.5
-
BAAI/bge-large-zh-v1.5
-
BAAI/bge-base-zh-v1.5
-
BAAI/bge-small-zh-v1.5
リランカーモデル
-
BAAI/bge-reranker-v2-m3
-
BAAI/bge-reanchor-large
-
BAAI/bge-reranker-base
03.コードサンプル表示
バージョン 2.4 以降、Milvus Python クライアントには、Sparse Vector と Dense Vector の多方向リコールを組み合わせた場合でも、Cross-Encoder Reranker を使用して最初のリコール層の関連性を向上させる場合でも、pymilvus[model] コンポーネントが追加されました。 Milvus Componentsが提供するモデルは全て柔軟に対応可能です。
たとえば、 pip install pymilvus[model] を実行するだけで、BGE-M3 モデルによって生成された密ベクトルを簡単に使用してベクトル最近傍検索を実行し、BGE Reranker モデルを使用して結果を絞り込むことができます。
from pymilvus.model.hybrid import BGEM3EmbeddingFunction
from pymilvus.model.reranker import BGERerankFunction
client = MilvusClient(uri="http://localhost:19530")
embed_fn = BGEM3EmbeddingFunction(device='cuda:0')
rerank_fn = BGERerankFunction(device="cuda:0")
query = "tell me information about France."
query_vector = [embed_fn([query])["dense"][0]]
# Search for top 20 nearest neighbour vectors
retrieved_results = client.search(collection_name="my_collection", data=query_vector, limit=20, output_fields=["text"])
# Rerank the vector search results and select the top 5
final_results = rerank_fn(query, [result['entity']['text'] for result in retrieved_results[0]], top_k=5)
さらに、リンク ( https://github.com/milvus-io/pymilvus/blob/master/examples/hello_hybrid_sparse_dense.py ) でさらに多くのケースを参照できます。
04.今後の展望
ベクトル データベース業界のリーダーとして、Zilliz は業界をリードする Zhiyuan Research Institute と協力して、オープンソースの BGE モデルと Milvus ベクトル データベースに基づくさまざまなリコール ソリューションをサポートし、Sparse Embedding と Reranker の両方のサポートを統合しました。 RAG 開発者にとって非常に便利です。
Zillizの生態学的統合およびAIプラットフォームの責任者であるChen Jiang氏は、「今後もMilvusはモデル研究、開発者のプロモーション、その他の面でZhiyuanと深く協力し続け、AIアプリケーションのさらなる普及と改善に貢献していきます」と述べた。
Zhiyuan Research Institute の BGE チームの責任者は次のように述べています。「BGE と Milvus の統合により、コミュニティ ユーザーは「三位一体」(密集検索、疎検索、並べ替え) 検索パイプラインを迅速に構築できるようになり、非常に便利になります。将来的には、Zilliz のような業界をリードする企業とさらに協力し、共同で AI アプリケーション開発者を強化できることを楽しみにしています。 」
- 良いニュースです。Milvus コミュニティはネットワーク全体で「 Beichen Messenger 」を探しています。 ！ ！
- Milvus または Zilliz 製品の使用に問題がある場合は、WeChat アシスタント「zilliz-tech」をコミュニケーション グループに追加できます。
- 最新情報を知るために、WeChat 公開アカウント「Zilliz」をフォローしてください。