NLPgensim保存存储和加载fasttext词向量模型

Posted 2021-08-14 Better Bench

以下举例训练小的语料库的方法，大的语料库，训练词向量操作流程不一样
参考https://radimrehurek.com/gensim_3.8.3/models/fasttext.html

from gensim.models import FastText
from gensim.test.utils import common_texts  # 内置一些例子

print(common_texts[0])
# ['human', 'interface', 'computer']
# 训练词向量
model = FastText(vector_size=4, window=3, min_count=1)  # instantiate
model.build_vocab(sentences=common_texts)
model.train(sentences=common_texts, total_examples=len(common_texts), epochs=10)  # train

# 保存
fname = "fasttext.model"
model.save(fname)
# 加载
model = FastText.load(fname)