Milvus 2.2 から 2.2.6 へ、どのようにして着実にアップグレードを続けてきたのか

最近、Milvus はバージョン 2.2.6 をリリースしました.いくつかのバグを修正した後、Milvus はより安定しました。

実際、Milvus がバージョン 2.X にアップグレードされて以来、ファイルからのデータのバッチインポート、ディスクベースの近似最近傍 (ANN) インデックス作成アルゴリズム、ノンストップローリングアップグレード、Coordinator などの改善と最適化に懸命に取り組んできました。 HA 高可用性やリソースグループなどの新機能により、メタデータストレージやバッチインポートなどのパフォーマンスも向上します。

この記事では、Milvus 2.2 から Milvus 2.2.6 への変更点とアップグレードをレビューして、より安定した、スムーズで使いやすい Milvus について詳しく理解できるようにします。

01. Milvus 2.2: ベクトル検索の安定性、検索速度、柔軟な拡張および縮小機能を改善

Milvus 2.2 はメジャーバージョンアップデートで、新機能を導入するだけでなく、多くの画期的な改善を行います。

ファイルからのデータのバッチインポート: Milvus は、ファイルからのデータのより効率的なバッチインポートをサポートする一連の新しい API を提供します。Minio または S3 に保存されている JSON ファイルのデータは直接 Milvus にインポートできるため、データのインポートにかかる時間と労力を節約できます。

検索結果のページング: 1 つの RPC セッションで返される検索結果が多すぎるのを防ぐために、Milvus は、オフセットとキーワードを設定して、返される検索結果の数を減らすことをサポートするようになりました。

役割ベースのアクセス制御 (RBAC): Milvus は RBAC をサポートするようになりました。ユーザーは、ユーザー、ロール、および権限を管理することにより、Milvus データベースへのアクセス制御を実装できます。

クォータと制限: クォータは、システムをメモリ不足 (OOM) から保護し、トラフィックバースト中にクラッシュするために Milvus によって使用される新しいメカニズムです。このメカニズムにより、データの挿入、検索速度、およびメモリ使用量を制御できます。

Collection time to live (TTL): 以前のバージョンでは、Milvus はクラスターレベルの TTL の設定のみをサポートしていました。Milvus は、コレクションの作成または変更時にコレクションの TTL の設定をサポートするようになりました。TTL が設定されたコレクション内のデータは、TTL が終了すると期限切れになります。この機能により、ユーザーはデータをより正確に管理できます。

ディスクベースの近似近隣検索インデックス作成 (ベータ): Milvus は、大規模なデータセットのディスクベースのインデックス作成のために DiskANN をサポートするようになりました。DiskANN は、ソリッドステートディスクに常駐するデータセットで近似最近傍検索を行うための、Vamana 画像に基づくインデックス作成アルゴリズムです。このアルゴリズムを使用すると、メモリ使用量が約 10 倍節約されます。

データバックアップツール (ベータ): Milvus 2.2 は新しいデータバックアップツールを提供し、コマンドラインと呼び出し API を使用してデータベースのバックアップと回復をサポートします。

上記の新機能に加えて、Milvus 2.2 はいくつかのバグを修正し、Milvus の安定性、可観測性、およびパフォーマンスを強化するために多くの改善を行います。

Milvus 2.2 リリースノート： https://milvus.io/docs/release_notes.md#v220

「Milvus 2.2リリース！"

02.Milvus 2.2.1 および 2.2.2: 問題の修正に重点を置いたマイナーバージョンをリリース

Milvus 2.2.1 と 2.2.2 はどちらもマイナーリリースであり、古いバージョンの主要な問題が修正され、いくつかの新機能が追加されています。

カイト 2.2.1：

Pulsar テナントと認証のサポート
etcd 構成での Transport Layer Security (TLS) のサポート
検索パフォーマンスが 30% 以上向上
スケジューラを最適化し、タスクのマージの可能性を高めます
次のような複数のバグを修正しました: インデックス付きスカラーフィールドでフィルタリングが失敗したときのインデックスノードのクラッシュ、インデックスの作成の失敗

カイト 2.2.2：

Proxy が Shard リーダーのキャッシュを更新しない問題を修正
リリースされたコレクション/パーティションにロードされたデータがクリーンアップされない問題を修正
ロードカウントが時間内にクリアされなかった問題を修正

Milvus 2.2.1 リリースノート：https://milvus.io/docs/release_notes.md#v221

Milvus 2.2.2 Release Notes：https://milvus.io/docs/release_notes.md#v222

03.Milvus 2.2.3：安全、稳定、升级友好

Milvus 2.2.3 主要增强了系统的安全性、稳定性和可用性，并推出了两个重要的特性。

不停机滚动升级：Milvus v2.2.3 版本上线了滚动升级能力。这意味着在升级过程中，用户的查询、搜索请求不会中断。
Coordinator 高可用（HA）：Milvus coordinator 能够以主备节点的模式工作，降低单点故障的风险。Coordinator 高可用可以大幅缩短系统恢复时间。如果意外发生灾难，系统只需最多30秒便可恢复。

除此以外，Milvus 2.2.3 版本还进行了改进和修复多个漏洞，包括：批量导入（bulk insert）性能大幅提升、Metrics 信息优化、查询性能提升、内存（memory）占用降低、元数据存储性能提升等。

Milvus 2.2.3 Release Notes：https://milvus.io/docs/release_notes.md#v223

点击可阅读文章《Milvus 新版本来啦！首席工程师带你划重点：安全、稳定、升级友好》

04.Milvus 2.2.4：资源隔离、多云、高效

Milvus 2.2.4 是 Milvus 2.2 的一次小版本升级。Milvus 2.2.4 推出了四个新特性，并提升了性能、可靠性和效率，降低资源消耗。

资源组：Milvus 支持将多个 Query Node 分到其他资源组中，从而完全隔离对不同资源组中物理资源的访问。
重命名集合（collection）：新增集合重命名 API，可用于更改集合名称，使得集合管理变得更灵活。
支持 Google Cloud Storage：Milvus 现在支持 Google Cloud Storage 作为对象存储，使用 Google Cloud 的用户可以无缝对接 GCP 的对象存储。
搜索（Search）和查询（Query） API 的新选项：我们在查询参数中新增了跳过 Growing 数据的选项，启用此选项将跳过对所有 Growing 数据的搜索，在搜索插入场景下提供更好的搜索性能。

Milvus 2.2.4 Release Notes：https://milvus.io/docs/release_notes.md#v224

点击可阅读文章《又见版本升级！一句话概括 Milvus 2.2.4：资源隔离、多云、高效》

05.Milvus v2.2.6：稳定性升级

Milvus 2.2.6 版本修复了众多关于稳定性问题。

性能强化

当延迟不少于 5 秒时，为查询/搜索添加了慢日志性能。Milvus 默认日志级别是 info，查询链路并发大、性能敏感，所以查询链路的日志都是debug级别，在生产环境无法看到查询链路的日志。如果用户要统计慢查询就无从下手，MySQL的慢查询日志就是个很好的范例，所以 Milvus 也在日志中加入了慢查询记录。

解决的关键问题

修复了DataCoord GC失败的问题
修复了在创建 collection 时传递的索引参数将覆盖后续 create_index 操作中传递的参数的问题
解决了 RootCoord 中出现消息积压导致整个系统延迟增加的问题
修正了指标 RootCoord InsertChannelTimeTick 的准确性
解决 Proxy 报告时间戳可能在某些情况下停止工作的问题
修复 Coordinator 角色在重启过程中可能会 panic 的问题
修复由于 etcd 重新启动而导致垃圾回收 goroutine 异常退出，留下检查点等问题

Milvus 2.2.6 リリースノート:https://milvus.io/docs/release_notes.md#v226

最新バージョンの Milvus 2.2 から 2.2.6 へのバージョンアップは、ユーザーのサポートと提案と切り離すことができず、ユーザーに最先端のソリューションを提供し、さまざまな分野のアプリケーションをサポートすることを常に主張しています。プレビューとして、Milvus 2.2.7 はすでに熱心に準備されており、間もなくリリースされる予定です。

この記事はmdnice multi-platformによって公開されています