如何使用fasttext对整个文本进行矢量化？

Posted 2021-04-18

要获得单词的向量，我可以使用：

model["word"]

但是如果我想获得一个句子的向量，我需要对所有单词的向量求和或得到所有向量的平均值。

FastText是否提供了这样做的方法？

答案

如果您想计算句子或段落的矢量表示，请使用：

$ ./fasttext print-sentence-vectors model.bin < text.txt

这假定text.txt文件包含您想要获取向量的段落。程序将在文件中每行输出一个矢量表示。

这在fasttext repo的README中已经清楚地提到过。 https://github.com/facebookresearch/fastText

另一答案

要使用fasttext获取句子的向量，请尝试以下命令

$ echo "Your Sentence Here" | ./fasttext print-sentence-vectors model.bin

有关此示例，请参阅Learn Word Representations In Fasttext