長いこと忘れていた旧友との会話と、AI 探求の素晴らしい衝突。
最近、上海でのMilvus Arch Meetupが無事終了しました。この Meetup には多くのハイライトがあり、KubeBlocks コミュニティからの強力なサポートを得ただけでなく、NetEase Fuxi と Ant Group の上級専門家を招待して、AI 時代のクラウド ネイティブ データベースとベクター データベースについての考えを共有しました。
[スワイプしてもっと見る]
次に、イベントからの重要なポイントを簡単に確認してみましょう。
Zilliz シニア エンジニア Xia Congqi : アーキテクチャ、新機能、パフォーマンス、保守性のいずれにおいても、Milvus 2.3.x はベクトル データベースのリーダーであり、間違いなく試してみる価値があります。
NetEase Fuxi のシニア AI 研究開発エンジニア、Chen Jinglai 氏: Milvus は、NetEase マルチモーダル グラフィックおよびテキスト シーンの実践において、NetEase Fuxi の 10 億レベルのグラフィックおよびテキスト データおよびアプリケーションの実装を効果的にサポートしていることが示されています。
Yunsheng Data のシニア エンジニア、Guo Ziang : KubeBlocks を使用して、ベクトル データベース + LLM などの AIGC データ インフラストラクチャを簡単に管理
Ant Group エンジニア Xu Pengfei : KCL 宣言型構成言語とツールを使用してエンジニアリング構成戦略の課題に対処
以下は詳細な説明です。オンデマンドでお楽しみいただけます。
01.
Milvus 2.3.xの新機能の解釈
Xia Congqi は、アーキテクチャ、新機能、パフォーマンス、保守性の側面から Milvus 2.3.x を包括的に解釈しました。
彼は最初に、Milvus 2.3.x が異種ハードウェア (GPU インデックス: RAFT; ARM) のサポートやアップグレードされた QueryNode (QueryNodeV2) など、アーキテクチャの点でアップグレードされたことについて言及しました。Xia Congqi 氏は QueryNodeV2 の導入に重点を置きました。QueryNode は、Milvus システム全体で最も重要な検索サービスを担当します。その安定性、パフォーマンス、およびスケーラビリティは Milvus にとって非常に重要です。しかし、QueryNodeV1 には、複雑なステータス、繰り返されるメッセージ キュー、不明瞭なコード構造、および直感的でないエラー内容などの問題があります。QueryNodeV2 の新しい設計では、チームはコード構造を再編成し、複雑な状態をステートレス設計に変更し、データ削除のメッセージ キューを削除してリソースの無駄を削減し、その後の継続的な安定性テストでは、QueryNodeV2 のパフォーマンスがさらに優れたものになりました。
新機能に関しては、Milvus 2.3.x で導入された次の機能は特に注目に値します。
Upsert : Milvus は現在更新操作をサポートしていないため、ベクターを更新する必要がある場合、ユーザーは古いレコードを削除して再挿入する必要があります。バージョン 2.3 では、Milvus によって提供される Upsert インターフェイスにより、アトミックな「変更」操作が保証されます。
SCANN インデックス: Knowhere 2.0、SCANN インデックスをサポートします。
Iterator (pymilvus のみ) : Milvus の検索とクエリの両方にデータがオンラインにあり、ユーザーが大量のデータ、または全量のデータをクエリする必要がある場合、既存のインターフェイスではこの要求を完全には満たすことができません。Milvus が範囲検索をサポートした後、pymilvus は範囲を動的に調整することで一連の Iterator インターフェイスをシミュレートします。これにより、ユーザーが必要とする大量のデータのバッチを返すことができます。
式による削除: インターフェイスの削除 2.3 より前では、削除は主キー式 ([1, 2, 3, …] の ID) を介してのみ実行できました。ユーザーが条件を満たすデータを削除したい場合は、最初に主キーをクエリしてから削除操作を実行する必要があります。式による削除は、システム内でこの操作を完了するための Milvus サーバーの「糖衣構文」を提供します。
それだけでなく、Milvus 2.3.x は MMap、Growing Index、動的構成変更、CDC などもサポートしており、Milvus の全体的なパフォーマンスと操作性が大幅に向上しています。興味のある学生は、詳細についてMilvus 2.3.x シリーズの記事をチェックしてください。 。
02.
NetEase のグラフィックとテキストのマルチモーダル シーンにおける Milvus の実践
Chen Jinglai 氏は、「NetEase グラフィックスとテキストのマルチモーダル シーンにおける Milvus の実践」を共有しました。同氏は、人工知能のより良い結果を得るには、モデルのサイズを増やし、データの品質を向上させることが重要な手段であると述べた。
NetEase Fuxi は、大規模モデルの研究に 5 年間従事し、豊富なアルゴリズムとエンジニアリングの経験を蓄積し、数十のテキストおよびマルチモーダルの事前トレーニング モデルを作成しました。ベクトルは、次のような大規模な言語モデルで重要な役割を果たします。 埋め込み - テキスト、画像、オーディオ、ビデオなどの非構造化データを低次元空間にマッピングし、それを埋め込みとして表現できる AI ベースのツールとアルゴリズム。
現在、Fuxi のグラフィック データには 10 億を超えるインターネット データと NetEase 独自の著作権データが蓄積されており、グラフィック検索に対する大きな需要があり、これによりさまざまな課題も生じています。
リソース使用率が高い: コンピューティング リソースとストレージ リソースを大量に消費します。
異種リソース: GPU、CPU、SSD、その他の異なる種類のリソース
複雑なビジネス タイプ: マルチモーダル グラフィックスとテキスト、NLP、ユーザー プロファイリング、その他のビジネス ビジネス データ サイズ、遅延、サービス品質、リコール精度などが異なります。
安定性と信頼性
この場合、高性能で信頼性の高い異種グラフィックおよびテキスト ベクトル エンジンを構築する方法が重要です。Milvus アーキテクチャは、クラウド ネイティブ、ストレージとコンピューティングの分離、分散、冗長性、高可用性の特徴を備えており、その支援により、NetEase Fuxi は 10 億レベルの Milvus クラスターの構築を実現しました。
さらに、Chen Jinlai氏は、Fuxiが困難な課題に取り組むなどの研究開発枠組みの下で、グラフィックスとテキストのマルチモーダル分野における能力の蓄積と応用の探索を開始したことにも言及した。中国のシーンをサポートする画像およびテキスト生成モデル「Danqing」を自社開発し、これに基づいて AI ペイント プラットフォーム「Danqingyue」を立ち上げ、LangChain + Milvus は Danqingyue ペイント エージェントを構築できます。
将来的には、Chen Jinglai 氏は、Milvus を使用して拡張世代 (RAG) を探索および取得して画像とテキストのマルチモーダル モデルの機能を向上させ、さらに Milvus+ の機能を使用して画像とテキストのマルチモーダルのアプリケーションを改善することを楽しみにしています。シーン。
03.
KubeBlocks: AIGC データ インフラストラクチャを簡単に管理
「KubeBlocks: AIGC データ インフラストラクチャの簡単な管理」をテーマに、KubeBlocks の AIGC データ インフラストラクチャ ソリューションを AI 時代の文脈で説明しました。KubeBlocks は、ベクトル データベース ホスティングと LLM を提供することで、ユーザーが独自の AI アプリケーションを構築できるようにします。ホスティング機能:アプリケーション開発者の負担を大幅に軽減します。
KubeBlocks のデータベース ホスティング機能
KubeBlocks 作为开源管控平台，可运行和管理 K8s 上的数据库、消息队列及其他数据基础设施。基于这一特点，KubeBlocks 的解决方案采用托管向量数据库（如 Milvus）和图数据库（如NebulaGraph）的方式，实现多云和线下部署，在实现快速 day-1 集成的同时，也提供了丰富的 day-2 运维操作。
KubeBlocks 依靠其强大的集成和抽象能力，可快速实现数据库集成。郭子昂以 Milvus 为例，展示了根据 KubeBlocks 的 API 在 YAML 文件中定义 Milvus 各种特性、运维配置，轻松实现向量数据库全生命周期管理。
KubeBlocks 的 LLM 托管能力
KubeBlocks 具有强大的 LLMOps 能力，支持托管 LLM 及多种大模型。基于 KubeBlocks，开发者可实现 LLM 私有化部署，同时支持定制化大模型，实现行业数据的精细调整。此外，KubeBlocks 的 LLMOps 能力还支持 LLM 开发环境私有化部署、分布式部署、高性能 batching，充分适配本地开发环境和生产环境，提升 GPU 利用率。
KubeChat：KubeBlocks AIGC 解决方案落地
基于上述解决方案，KubeBlocks 已成功落地 AI 应用，在 10 天时间开发出 AI 知识库应用 KubeChat，轻松应对 Embedding、向量数据库和大模型在开发 AI 应用过程中带来的各类挑战。
点击下方链接，查看 KubeChat 演示视频：
04.
KCL 在 AI 工程配置策略场景的探索和落地使用
徐鹏飞分享了《KCL 在 AI 工程配置策略场景的探索和落地使用》。平台工程和 AI 工程的发展日益迅猛，但这也带来了问题和挑战，比如认知负担、配置/数据种类繁杂、配置/数据清洗过程易出错、效率可靠性低等。KCL 作为专用配置策略语言为配置和自动化提供了解决方案，以收敛的语言和工具集合解决领域问题近乎无限的变化和复杂性，同时兼顾表达力和易用性。
此外，KCL 以数据和模型为中心，采用开发者可以理解的声明式 Schema/配置/策略模型用于 AI 工程、云原生工程等场景。KCL 为开发人员提供了通过记录和函数语言设计将配置（config）、建模抽象（schema）、逻辑（lambda）和策略（rule）作为核心能力，具有可复用可扩展、抽象和组合能力、稳定性、高性能等特点。
KCL 可以广泛用于表格数据集验证和转换、云原生配置验证和转换、通过抽象进行应用交付、IaC & GitOps等场景。KCL 也注重开发者体验，提供完备的 Language + Tools + IDEs + SDKs + Plugins 工具链支持，还支持模型 Registry。
彩蛋：看看模型 Registry 里出现了谁？
回复关键词【老友汇上海】获取现场嘉宾 PPT。
本文分享自微信公众号 - ZILLIZ（Zilliztech）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。