Milvus在云从的深度实践

Milvus作为一个开源的分布式向量搜索引擎,凭借其出色的产品设计和工程实现,已被多家不同行业的科技公司融合进各种行业解决方案中。

云从科技,作为世界领先的AI科技独角兽公司,中国“CV四小龙”之一,是Milvus的全球首家用户。Milvus帮助云从在自研向量比对算法之外拓展了新的技术边界,有效加深了产品厚度、提升了研发效率。

Milvus向量搜索引擎可以对接包括图片识别,视频处理,声音识别,自然语言处理等深度学习模型,为向量化后的非结构数据提供搜索分析服务。

那么,用户是如何使用Milvus呢?

首先用户将通过深度学习模型将非结构化数据转化为特征向量导入Milvus库中,Milvus对特征向量进行存储并建立索引。检索时,先将待搜索的非结构化数据转换为特征向量,然后在Milvus中进行搜索,Milvus将返回搜索结果,再通过特征向量结果找到对应的非结构化数据。

Milvus搜索引擎架构如图

基于人脸识别技术的“一人一档”是当前在人像管理中常见的应用场景,通过对道路卡口摄像头采集的数据集进行聚类归档,从而建立人像档案,并将各个档案打上标签,首先是人脸聚类,是指对前端摄像头收集来的人脸照片进行分类,将同一个人的照片聚为一类,然后建立每个人的个人档案。“一人一档”在智慧城市,智能安防等诸多领域都有广泛应用。然而,城市中各个卡口每天收集到的人脸图片数量高达千万级,在庞大的数据集中,要快速又精确的完成对人脸的聚类并非易事。

为了更加高效地完成人脸聚类,云从结合Milvus向量搜索引擎实现了大规模实时人脸聚类,基于动态数据建立一人一档。在其中一款产品的研发场景 中,首先将数千万张人脸图片提取为特征向量,再将转化好的数千万条向量导入Milvus的表中。然后通过Milvus批量搜索功能,对给定的一个批量(N张)的人脸图片向量在导入好的底库中进行搜索,得到底库中分别与这数百张人脸图片相似度为Top-K个人脸,结果集为N*K张人脸,即完成了底库中对这N张人脸图片的初步聚类。

得益于Milvus向量搜索引擎的加速,在数千万级别的图库中,在数秒内就能完成上千张人脸图片的聚类,平均每张人脸图片的聚类只需数十毫秒,同时召回率保持在95%以上。

该场景下的人脸聚类实现流程:

Milvus的高性能、高召回率有效助力了“人脸聚类,一人一档”的系统建设,能保证档案系统数据的及时更新、保证数据的鲜活性。从而可以充分利用采集到的数据,挖掘数据价值。

Milvus开发团队希望在非结构化数据查询的道路上走得更远,为企业带去更多的价值。同时也希望更多志同道合的伙伴加入Milvus开源社区,一起参与、见证Milvus的成长。

Milvus 源码
github.com/milvus-io/milvus

Milvus 官网
milvus.io

Milvus Slack社区
milvusio.slack.com

Milvus CSDN博客
zilliz.blog.csdn.net

© 2019 ZILLIZ™

发布了19 篇原创文章 · 获赞 15 · 访问量 5252

猜你喜欢

转载自blog.csdn.net/weixin_44839084/article/details/103272109