Faiss库系列1_概述

项目地址：https://github.com/facebookresearch/faiss
使用教程：https://github.com/facebookresearch/faiss/wiki/Getting-started

1 Faiss简介

Faiss由Facebook AI Research开发，是一个用于相似性搜索和密集向量聚类的高性能库，支持十亿级别向量的搜索，是目前最为成熟的近似近邻搜索库。它包含多种搜索任意大小向量集（备注：向量集大小由RAM内存决定）的算法，以及用于算法评估和参数调整的支持代码。Faiss用C++编写，并提供与Numpy完美衔接的Python接口。除此以外，对一些核心算法提供了GPU实现。

Faiss库包含相似性搜索的多种方法。它假设实例被表示为向量，并用整数标识，同时向量可以与L2距离或点积进行比较。与查询向量类似的向量是那些与查询向量具有最低L2距离或具有最高点积的向量。它还支持余弦相似性，因为这是归一化向量上的点积。

大多数方法，如基于二进制向量和紧凑量化码的方法，仅使用向量的压缩表示，而不需要保留原始向量。这通常以不太精确的搜索为代价，但是这些方法可以在单个服务器的主内存中进行数十亿向量集的搜索。

GPU实现支持单GPU或多GPU，可以接受来自CPU或GPU存储器的输入。在具有GPU的服务器上，可以使用GPU索引作为CPU索引的替换（例如：使用GpuIndexFlatL2替换IndexFlatL2），并且自动处理GPU内存与CPU内存间的索引复制。当然，如果输入和输出都驻留在GPU上，结果将更快。

2 Faiss构建与安装

Faiss库主要用C++进行编码实现，通过CUDA提供可选的GPU支持，同时也提供了可选的Python接口。在编译构建时，CPU版本需要依赖BLAS库，利用Makefile文件或CMakelists.txt文件编译，并可以打包到docker镜像。详情见INSTALL.md。

3 Faiss如何工作？

Faiss库围绕存储一组向量的索引类型进行构建，提供使用L2距离和（或）点积运算进行向量比较的搜索功能，不同的索引类型对应不同的搜索方法，其中一些索引类型能提供评价基线，例如IndexFlatL2。Faiss库。大多数索引类型是搜索时间、搜索质量、索引向量内存占用、训练时间、无监督训练依赖外部数据等指标的均衡。可选的GPU版Faiss实现了Floyd's k-means以及k-selection算法，能够为高维向量提供精确或近似最近邻搜索的功能。

4 Faiss文档

Faiss库使用相关文档，包括教程、常见问题解答、Bug修复；

Faiss库学术论文结果复现资料，论文：Polysemous codes、Billion-scale similarity search with GPUs；实验结果：benchmarks README。

5 Faiss主要作者

Hervé Jégou Faiss项目创建和第一个版本实现
Matthijs Douze 大部分CPU Faiss的代码实现
Jeff Johnson 所有GPU Faiss的代码实现
Lucas Hosseini 二进制索引类型的代码实现

6 Faiss库使用引用

@article{JDH17,
title={Billion-scale similarity search with GPUs},
author={Johnson, Jeff and Douze, Matthijs and J{\'e}gou, Herv{\'e}},
journal={arXiv preprint arXiv:1702.08734},
year={2017}
}