咱们把全球领先的向量搜索引擎 Milvus 开源了



Milvus 高性能向量搜索引擎已经开源了。GitHub Repo:https://github.com/milvus-io/milvus (或点击阅读原文查看)。git

Milvus 可以帮助用户轻松应对海量非结构化数据(图片/视频/语音/文本)检索。单节点 Milvus 能够在秒内完成十亿级的向量搜索,分布式架构亦能知足用户的水平扩展需求。github

18位贡献者;3,600次commit;5个release迭代;近一年的深刻调研与密集开发以及无数根头发,共同见证了Milvus的研发历程。微信

一路走来,Milvus 已被10多家科技公司使用,助力互联网娱乐(图片搜索/视频搜索)、新零售(以图搜商品)、智慧金融(用户认证)和智能物流(车辆识别)等领域。架构

咱们将 Milvus 全面开源,但愿帮助更多的用户应对非结构数据和AI带来的机遇与挑战。框架


数据智能的挑战分布式

随着信息化技术的不断进步,人们正经历爆炸式的数据增加。非结构数据(如图片、视频、语音和文字)比传统的结构化数据增加更快,数据量更大。之因此称其为非结构数据,是由于这些数据没法以传统方式进行处理与价值挖掘。如何从非结构数据中提取有价值的内容与信息,已经逐渐成为企业进一步挖掘数据价值的关键。性能

非结构数据的向量化学习


深度学习目前被认为是最有效的非结构数据处理方式之一。非结构数据通过深度学习模型的处理,会被向量化。因而,海量非结构数据的分析处理被转化为对海量向量的近似搜索。虽然处理图片,视频,语音和文字的深度学习模型各不相同,但最终的向量处理需求倒是相同的。所以,向量搜索引擎是AI应用的基石之一。优化

次世代非结构数据分析处理平台ui


Milvus 应运而生!


Milvus,开源AI基础组件

Milvus是一个开源的分布式向量搜索引擎。Milvus不但集成了业界成熟的向量类似度搜索技术,更在此基础上对高性能计算框架进行了大幅度优化。Milvus为AI应用开发者带来了以下价值:

高性能

Milvus为海量向量搜索场景而设计。Milvus不但集成了业界成熟的向量搜索技术如Faiss和SPTAG,Milvus也实现了高效的NSG图索引。同时,Milvus团队针对Faiss IVF索引进行了深度优化,实现了CPU与多GPU的融合计算,大幅提升了向量搜索性能。Milvus能够在单机环境下完成SIFT1b十亿级向量搜索任务。

更多信息请参考 GitHub 文档:https://github.com/milvus-io/bootcamp/blob/master/docs/milvus101/hardware_platform.md

智能索引

针对不一样应用场景,Milvus提供多种向量类似度计算方式和索引类型。Milvus目前支持主流的欧式距离、点积、余弦类似度(将来Milvus会集成更多的类似度计算方式)。同时,Milvus提供适用于n:N查询的量化索引,适用于1:N查询的图索引或树图混合索引。


易于开发

Milvus为用户提供向量数据管理服务,以及集成的应用开发SDK(Java/Python/C++/RESTful API)。相比直接调用Faiss和SPTAG那样的程序库,Milvus上的应用开发更便捷,数据管理更简单。


计算成本可控

Milvus不只提供传统的CPU计算方案,经过引入GPU等高算力ASIC,Milvus能够有效下降大规模向量搜索所需的硬件规模,从而下降系统的成本。


应用场景普遍

Milvus向量搜索引擎能够对接包括图片识别,视频处理,声音识别,天然语言处理等深度学习模型。为向量化后的非结构数据提供搜索分析服务。



Milvus 索引类型

IVF:Faiss IVF(CPU计算,或GPU计算),Milvus深度优化的IVF(CPU/GPU混合计算)

Graph:Milvus实现的NSG索引

Tree & Graph:集成微软SPTAG

IVF & Graph:Milvus实现中


欢迎加入Milvus社区

主页: milvus.io

Github:github.com/milvus-io/milvus

知乎: zhuanlan.zhihu.com/milvus

Slack: milvusio.slack.com

Twitter:twitter.com/milvusio

Facebook:www.facebook.com/io.milvus.5

© 2019 ZILLIZ™

本文分享自微信公众号 - ZILLIZ(Zilliztech)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。

相关文章
相关标签/搜索