これは実際にはかなり曲がりくねった珍しい話です。私は中途入社でしたので、Milvus の構築にはバージョン 2.0 から参加しており、弊社ではベクトルデータベース分野では 5 年ほどの歴史があります。
当初、私たちはチャンスを見出し、ベクトル検索の処理において非常に成熟した Faiss のようなエンジンがあり、多くの大規模ベンダーがそれらを使用していることに気づきました。したがって、最初のバージョンの設計は非常にシンプルで、いくつかの永続ログといくつかの基本的な RPC を Faiss に追加するだけです。当時、多くの人が Milvus は Faiss 上の単なるカプセル化層であると考えていました。これが Milvus についての最も初期の見解でした。実際、この結論は現在開始されているほとんどのベクトル データベースに適用できます。現在のアーキテクチャは同じです。初期の 1.0 アーキテクチャと同じで、ほとんど違いはありません。
このプロセスでは、主に最初期の重要な顧客の影響を受けて、バージョン 0.1 から 1.0 まで多くの試みを行いました。顧客の名前は言及しませんが、最初は 1,000 万のデータセットを処理するために Milvus の初期バージョンであるバージョン 0.1 を使用していましたが、非常にうまく機能し、満足していました。
しかし、データ量が増加するにつれて、Milvus がニーズを満たすように拡張できないことがわかりました。彼らは、10 億以上に達する大規模なデータセットを処理したいと考えていますが、そのためには多くの課題に直面する必要があります。この目的を達成するために、私たちは特別な最適化手法やより大規模なモデルを含む多くの技術を採用して、10 億のデータの問題を解決しました。
それ以来、私たちはベクトル検索のパフォーマンスとスケーラビリティ (2020 年後半から 2021 年初頭まで) が非常に重要な問題であると認識しました。したがって、私たちはバージョン 2.0 のコア機能の構築を開始しました。