Faiss向量相似性搜索

Posted liuning8023

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Faiss向量相似性搜索相关的知识,希望对你有一定的参考价值。

移步bdata-cap.com

Faiss 快速入门(1)

Faiss 更快的索引(2)

Faiss低内存占用(3)

Faiss 构建: clustering, PCA, quantization(4)

如何选择Faiss索引(5)

官网地址 ,你也可以访问我的Github,运行代码。

本文是基于官网整理,为了防止理解偏差或简化,有些直接用英文。另外,也加了一点自己的理解。

数据准备


Faiss可以处理固定维度d的向量集合,typically a few 10s to 100s。向量集合被保存在矩阵中。我们假设行主存储(例如,the j‘th component of vector number i is stored in row i, column j of the matrix)。Faiss只能使用32位浮点矩阵。

我们需要两个矩阵: 

  • xb 为语料, that contains all the vectors that must be indexed, and that we are going to search in. 它的大小为nb-by-d
  • xq 为查询的向量集合, for which we need to find the nearest neighbors. 大小为nq-by-d. 如果我们只有一个查询向量,那么nq=1.

下面例子,我们将学习在d=64维空间中向量,是0-1均匀分布,他们的值在(0,1)范围内。为了增加娱乐性,我们在第一个向量上加个小平移。

import numpy as np

d = 64                           # dimension
nb = 100000                      # database size
nq = 10000                       # nb of queries
np.random.seed(1234)             # make reproducible
xb = np.random.random((nb, d)).astype(‘float32‘)
xb[:, 0] += np.arange(nb) / 1000.
xq = np.random.random((nq, d)).astype(‘float32‘)
xq[:, 0] += np.arange(nq) / 1000.

# import matplotlib.pyplot as plt 

# plt.hist(xb[6])
# plt.show()

创建一个索引,并向它添加向量


Faiss始终围绕着索引对象展开的. 它封装了数据向量集合, 并且可以对他们进行预处理,以提高搜索效率. 有很多类型的索引, 我们使用最简单的一个,执行暴力L2距离搜索(brute-force L2 distance search):IndexFlatL2.

所有索引构建时都必须指定向量的维度d。而大多数索引还需要一个训练阶段,以便分析向量的分布。对于IndexFlatL2来说,可以跳过训练这步(因为是暴力搜索,不用分析向量).

当构建和训练索引后,在索引上执行两个操作:add和search.

向索引添加数据,在xb上调用add方法. 有两个索引的状态变量:

  • is_trained, 布尔型,表示是否需要训练
  • ntotal, 被索引的向量集合的大小

一些索引也可以对每个向量存储整型ID(IndexFlatL2不用). 如果不提供ID,使用向量的序号作为id,例如,第一个向量为0,第二个为1……以此类推

import faiss                   # make faiss available
index = faiss.IndexFlatL2(d)   # build the index
print(index.is_trained)
index.add(xb)                  # add vectors to the index
print(index.ntotal)

结果:

True
True
100000

搜索


在索引上可以执行的最基本操作是 k-nearest-neighbor search(knn), 例如,对每个向量,在数据库中查找它的 k近邻.

结果保存在大小为 nq-by-k 的矩阵中, 其中,第i行是其向量i的近邻id, 按距离升序排序. 除了k近邻矩阵外, 还会返回一个平方距离(squared distances)的矩阵,其大小为nq-by-k的浮点矩阵。

常用距离计算方法:https://zhuanlan.zhihu.com/p/101277851

  • 先来一个简单测试,用数据库中的小部分向量进行检索,来确保其最近邻确实是向量本身

先用训练数据进行检索,理论上,会返回自己。

k = 4                          # we want to see 4 nearest neighbors
D, I = index.search(xb[:5], k) # sanity check
print(xb.shape)
print(‘I‘, I)
print(‘D‘, D)

结果:

(100000, 64)
I [[  0 393 363  78]
[  1 555 277 364]
[  2 304 101  13]
[  3 173  18 182]
[  4 288 370 531]]
D [[0.        7.1751733 7.207629  7.2511625]
[0.        6.3235645 6.684581  6.7999454]
[0.        5.7964087 6.391736  7.2815123]
[0.        7.2779055 7.5279865 7.6628466]
[0.        6.7638035 7.2951202 7.3688145]]
  • 再用查询向量搜索

D, I = index.search(xq, k)     # actual search
print(‘I[:5]‘, I[:5])          # neighbors of the 5 first queries
print(‘D[:5]‘, D[:5])
print(‘-----‘)
print(‘I[-5:]‘, I[-5:])        # neighbors of the 5 last queries
print(‘D[-5:]‘, D[-5:])

结果:

I[:5] [[ 381  207  210  477]
[ 526  911  142   72]
[ 838  527 1290  425]
[ 196  184  164  359]
[ 526  377  120  425]]
D[:5] [[6.8154984 6.8894653 7.3956795 7.4290257]
[6.6041107 6.679695  6.7209625 6.828682 ]
[6.4703865 6.8578606 7.0043793 7.036564 ]
[5.573681  6.407543  7.1395226 7.3555984]
[5.409401  6.232216  6.4173393 6.5743675]]
-----
I[-5:] [[ 9900 10500  9309  9831]
[11055 10895 10812 11321]
[11353 11103 10164  9787]
[10571 10664 10632  9638]
[ 9628  9554 10036  9582]]
D[-5:] [[6.5315704 6.97876   7.0039215 7.013794 ]
[4.335266  5.2369385 5.3194275 5.7032776]
[6.072693  6.5767517 6.6139526 6.7323   ]
[6.637512  6.6487427 6.8578796 7.0096436]
[6.2183685 6.4525146 6.548767  6.581299 ]]

结果


进行一下结果的合理性检查,如果是用训练数据搜索,得到如下结果

[[  0 393 363  78]
[  1 555 277 364]
[  2 304 101  13]
[  3 173  18 182]
[  4 288 370 531]]

[[ 0.          7.17517328  7.2076292   7.25116253]
[ 0.          6.32356453  6.6845808   6.79994535]
[ 0.          5.79640865  6.39173603  7.28151226]
[ 0.          7.27790546  7.52798653  7.66284657]
[ 0.          6.76380348  7.29512024  7.36881447]]

可以看到:

  1. 上面是knn矩阵,结果的确是它自己
  2. 下面距离矩阵,相应的距离是0,按升序排序
  • 如果用查询向量搜索,会得到如下结果
[[ 381  207  210  477]
[ 526  911  142   72]
[ 838  527 1290  425]
[ 196  184  164  359]
[ 526  377  120  425]]

[[ 9900 10500  9309  9831]
[11055 10895 10812 11321]
[11353 11103 10164  9787]
[10571 10664 10632  9638]
[ 9628  9554 10036  9582]]

Because of the value added to the first component of the vectors, the dataset is smeared along the first axis in d-dim space. So the neighbors of the first few vectors are around the beginning of the dataset, and the ones of the vectors around ~10000 are also around index 10000 in the dataset.

(END.)

以上是关于Faiss向量相似性搜索的主要内容,如果未能解决你的问题,请参考以下文章

Faiss相似性搜索类库

faiss CPU版本+GPU版本安装

相似度检索Faiss模型

FAISS 搜索失败并出现模糊错误:“非法指令”或内核崩溃

揭开Faiss的面纱 探究Facebook相似性搜索工具的原理

Chat with Milvus #12 :新版本Postgres向量检索插件比Faiss好用?