NLPfrom glove import Glove的使用模型保存和加载

Posted 2021-09-24 Better Bench

1 引言

不要被stackflow的上的一个的回答所误导。

2 使用方法举例

# 语料
sentense = [['你', '是', '谁'], ['我', '是', '中国人']]
corpus_model = Corpus()
# 训练语料
corpus_model.fit(sentense, window=10)
# 保存语料
corpus_model.save('corpus.model')
# 架子语料
corpus_model = Corpus.load('corpus.model')
print('Dict size: %s' % len(corpus_model.dictionary))
print('Collocations: %s' % corpus_model.matrix.nnz)
# 训练词向量
glove = Glove(no_components=100, learning_rate=0.05)
glove.fit(corpus_model.matrix, epochs=2,
          no_threads=1, verbose=True)
glove.add_dictionary(corpus_model.dictionary)
# 保存glove模型
glove.save('glove.model')

# 加载glove模型
model = Glove.load('glove.model')

Glove参数

• no_components：词向量维度
• learning_rate：学习率

Gove.fit参数

• corpus_model.matrix ： 语料矩阵
• epochs=200 ：迭代次数
• no_threads=4 ：多线程数
• verbose=True：是否打印日志