facebook 相似性搜索库 faiss

Posted 2020-10-30

faiss

个人理解：

https://github.com/facebookresearch/faiss 上把代码clone下来，make编译

我们将CNN中经过若干个卷积/激励/池化层后得到的激活映射（向量形式）存储到硬盘上，

Faiss是一个高效的相似性搜索和密集向量聚类的库。它包含了搜索任意大小的向量集合的算法，这些算法可能不适合RAM。它还包含用于评估和参数优化的支持代码。Faiss是用c++编写的，带有Python/numpy的完整包装。一些最有用的算法是在GPU上实现的。它是由Facebook人工智能研究开发的。

稀疏向量：0和1表示的向量

密集向量：实数表示的向量

介绍

Faiss包含了几种相似搜索的方法。它假设实例被表示为向量，并由一个整数来标识，并且向量可以与L2距离或点乘积进行比较。与查询向量相似的向量是那些具有最低L2距离或与查询向量有最高的点积的向量。它也支持余弦相似，因为这是标准化向量上的点积。

大多数的方法，像那些基于二进制矢量和压缩量化码的方法，仅仅使用矢量的压缩表示，不需要保留原向量。这通常以不那么精确的搜索为代价，但这些方法可以在单个服务器上的主存中扩展到数十亿个向量。

GPU实现可以接受CPU或GPU内存的输入。在带有GPU的服务器上，GPU索引可以使用drop-in替换CPU索引(例如，用GpuIndexFlatL2替换IndexFlatL2)，并自动处理GPU内存的副本。但是如果输入和输出都驻留在GPU上，结果将会更快。支持单一和多gpu的使用。

建筑

库主要是在c++中实现的，通过CUDA提供可选的GPU支持，以及一个可选的Python接口。CPU版本需要一个BLAS库。它使用Makefile编译，并可以在docker映像中打包。看到安装。

 

工作方式

Faiss是围绕一个索引类型构建的，它存储了一组向量，并提供了一个函数，用L2和/或点积向量比较来搜索它们。有些索引类型是简单的基线，例如精确搜索。大多数可用的索引结构对应于各种各样的权衡。

搜索时间

搜索质量

每个索引向量使用的内存。

培训时间

非监督培训需要外部数据。

可选的GPU实现提供了可能的(截至2017年3月)最快的精确和近似(压缩域)最近邻搜索实现的高维向量，最快的劳埃德的k-means，和最快的小k选择算法已知。这里详细介绍了实现。

完整的文档做

以下为文件的入口点:

完整的文档，包括教程，FAQ和故障排除部分可以在wiki页面上找到。

doxygen文档提供了每个类的信息。

为了复制我们的研究论文，多义代码和十亿级相似搜索与gpu，请参考基准的README。

 

加入社区

公开讨论做或问题,有一个Facebook公开讨论组在https://www.facebook.com/groups/faissusers/

我们监视存储库的问题页面。你可以报告错误，提出问题，等等。