AI大型モデルの時代では、写真、ビデオ、自然言語などのマルチモーダルな非構造化データの量が急増しており、大型モデルがサポートするトークンの数は限られていますが、ある程度の効果は得られます。 RLHFの協力による「短期記憶」の研究 しかし、「長期記憶」が欠如しているからこそ、大型モデルはしばしば「意味のないことを真剣に話す」のです。
構造化データの処理に使用される従来のデータベースとは異なり、ベクトル データベースは、ベクトル化された非構造化データの保存、管理、クエリ、取得に特別に使用されます。これは、大規模なモデルがいつでも呼び出すことができる外部メモリ ディスクのようなもので、「長期データ」を形成します。メモリ"。大規模モデル アプリケーションの開発者にとって、ベクトル データベースは非常に重要なインフラストラクチャです。
現在、ベクトルデータベースは大きく2種類に分けられます。1 つは、Pinecone (累計資金調達額 1 億 3,800 万ドル)、Milvus (累計資金調達額 1 億 1,300 万ドル)、Weaviate (累計資金調達額 6,770 万ドル) などのネイティブ ベクター データベース製品であり、もう 1 つはプラグイン ベクターです。 ClickHouse、ElasticSearch、Redis、その他多くのオープン ソース データベースなどのエンジン製品に、このような製品が追加されています。
LCHub は最近、この 2 つの間の 3 番目のデータベースである Moqi AI データベースと接触しました。これは AWS でホストされており、構造化データと非構造化データの両方のストレージ、クエリ、検索、および共同分析をサポートできます。また、グラフで広く使用されている処理機能もサポートしています。