Doc2vec:gensim doc2vec模型中只有10个docvecs?
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Doc2vec:gensim doc2vec模型中只有10个docvecs?相关的知识,希望对你有一定的参考价值。
我使用gensim拟合doc2vec模型,标记文档(长度> 10)作为训练数据。目标是获取所有训练文档的doc向量,但在model.docvecs中只能找到10个向量。
训练数据的例子(长度> 10)
docs = ['This is a sentence', 'This is another sentence', ....]
有一些预处理
doc_=[d.strip().split(" ") for d in doc]
doc_tagged = []
for i in range(len(doc_)):
tagd = TaggedDocument(doc_[i],str(i))
doc_tagged.append(tagd)
标记的文档
TaggedDocument(words=array(['a', 'b', 'c', ..., ],
dtype='<U32'), tags='117')
适合doc2vec模型
model = Doc2Vec(min_count=1, window=10, size=100, sample=1e-4, negative=5, workers=8)
model.build_vocab(doc_tagged)
model.train(doc_tagged, total_examples= model.corpus_count, epochs= model.iter)
然后我得到了最终的模型
len(model.docvecs)
结果是10 ...
我尝试了其他数据集(长度> 100,1000)并获得了与len(model.docvecs)
相同的结果。所以,我的问题是:如何使用model.docvecs来获取完整的向量? (不使用model.infer_vector
)model.docvecs
是否旨在提供所有训练docvecs?
答案
错误在这一行:
tagd = TaggedDocument(doc[i],str(i))
Gensim的TaggedDocument
接受一系列标签作为第二个参数。当你传递一个字符串'123'
时,它变成了['1', '2', '3']
,因为它被视为一个序列。结果,所有文档都以各种组合标记了10个标签['0', ..., '9']
。
另一个问题:您正在定义doc_
并且从未实际使用它,因此您的文档也将被错误地拆分。
这是正确的解决方案:
docs = [doc.strip().split(' ') for doc in docs]
tagged_docs = [doc2vec.TaggedDocument(doc, [str(i)]) for i, doc in enumerate(docs)]
以上是关于Doc2vec:gensim doc2vec模型中只有10个docvecs?的主要内容,如果未能解决你的问题,请参考以下文章
如何从 gensim 模型中的 Doc2Vec 相似度分数访问文档详细信息?
机器学习使用gensim 的 doc2vec 实现文本相似度检测