如何使用fasttext对整个文本进行矢量化?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何使用fasttext对整个文本进行矢量化?相关的知识,希望对你有一定的参考价值。

要获得单词的向量,我可以使用:

model["word"]

但是如果我想获得一个句子的向量,我需要对所有单词的向量求和或得到所有向量的平均值。

FastText是否提供了这样做的方法?

答案

如果您想计算句子或段落的矢量表示,请使用:

$ ./fasttext print-sentence-vectors model.bin < text.txt

这假定text.txt文件包含您想要获取向量的段落。程序将在文件中每行输出一个矢量表示。

这在fasttext repo的README中已经清楚地提到过。 https://github.com/facebookresearch/fastText

另一答案

要使用fasttext获取句子的向量,请尝试以下命令

$ echo "Your Sentence Here" | ./fasttext print-sentence-vectors model.bin

有关此示例,请参阅Learn Word Representations In Fasttext

以上是关于如何使用fasttext对整个文本进行矢量化?的主要内容,如果未能解决你的问题,请参考以下文章

掌握fasttext工具进行文本分类训练词向量的过程

掌握fasttext工具进行文本分类训练词向量的过程

BERT实战:使用DistilBERT作为词嵌入进行文本情感分类,与其它词向量(FastText,Word2vec,Glove)进行对比

FastText 使用预训练的词向量进行文本分类

FastText

对具有分类数字和文本的数据进行预测。