20210611 word2vec 的代码实现

Posted ATaburiss

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了20210611 word2vec 的代码实现相关的知识,希望对你有一定的参考价值。

使用第三方包进行词向量的具体实现,Word2Vec 是一种词嵌入(Word Embedding) 方法;它可以计算每个单词在其给定语料库环境下的分布式词向量(Distributed Representation,亦直接被称为词向量)。词向量表示可以在一定程度上刻画每个单词的语义。


1 简单用法
1-1 读取语料
有 3 种方式
1 语料可以存储在内存中,格式为[[word1,word2,word3...],[word1,word2,word3...],...],列表中每一个子列表为分完词的一篇文档
2 通过 LineSentence 的方式
class gensim.models.word2vec.LineSentence(source, max_sentence_length=10000, limit=None);source为可读文件路径,文件每一行代表一篇文档,文档是已经经过分词,每个词由空格分隔。max_sentence_length为文章的最大长度,limit为读取前多少篇文档(即前多少行)
class gensim.models.word2vec.PathLineSentences(source,max_sentence_length = 10000,limit = None )
3 这种方式用的比较少,与LineSentence类似,不过这里传入的是根目录,目录下有多个可读文件;文件格式需要和与LineSentence所需文件格式类似,此函数可处理根目录下所有的文件。

import jieba
from gensim.models import word2vec


1-1-2 内存方式

# 加载自定义词典
jieba.load_userdict("MobilePhone_Userdict.txt")
# 将停用词读出放在stopwords这个列表中
filepath = r\'stopwords.txt\'
stopwords = [line.strip() for line in open(filepath, \'r\', encoding=\'utf-8\').readlines()]
# 读取文件,将其中句子进行分词
def readfile2wordlist(file_path):
    cut_word_list = []
    with open(file_path, \'r\', encoding="utf-8-sig") as f:
        for line in f.readlines():
            line = line.strip()
            seg_list = jieba.cut(line)
            seg_list = [i for i in seg_list if i not in stopwords and i!=\' \']
            cut_word_list.append(seg_list)
    return cut_word_list
# 未分词语料
file_path = \'mb.txt\'
sentences = readfile2wordlist(file_path)
print(sentences[:10])


1-1-3 文件方式

file_path = \'mb_train.txt\'
# 使用LineSentence读取语料
sentences = word2vec.LineSentence(file_path,max_sentence_length=10000, limit=None)
print(sentences)

-->
<gensim.models.word2vec.LineSentence object at 0x0000021AEDAD47C0>
如果查看 sentences 中的具体值,需要用 for 循环,类似生成器的感觉

for doument in sentences:
    print(doument) # 得到的结果和内存方式是一样的


2-1 训练word2vec语义向量
# 训练时需要将 word2vec 改成 Word2Vec
# class gensim.models.word2vec.Word2Vec(sentences=None, size=100, alpha=0.025, window=5, min_count=5,
#                    max_vocab_size=None, sample=1e-3, seed=1, workers=3, min_alpha=0.0001,
#                    sg=0, hs=0, negative=5, ns_exponent=0.75, cbow_mean=1, hashfxn=hash, iter=5, null_word=0,
#                    trim_rule=None, sorted_vocab=1, batch_words=MAX_WORDS_IN_BATCH, compute_loss=False, callbacks=(),
#                    max_final_vocab=None)
#     sentence(iterable of iterables):输入语料,与我们上面生成的一致
#     SG(INT {1 ,0}) -定义的训练算法。如果是1,则使用skip-gram; 否则,使用CBOW。
#     hs:是否采用基于Hierarchical Softmax的模型。参数为1表示使用,0表示不使用
#     size(int) - 特征向量的维数。
#     window(int) - 句子中当前词和预测词之间的最大距离。
#     min_count(int) - 忽略总频率低于此值的所有单词。

# 执行这行后,训练就完成了;sentences 是构建的语料;size是训练后,词向量的大小;alpha是学习率
# window是当前词和当前句子中周边词的最远距离; min_count 是 如果频数小于min_count时,就不计算

model = word2vec.Word2Vec(sentences, hs=1,min_count=1,window=3,size=200)


2-2 保存模型
# model.save(file_name)   # file_name:存储模型的名称

model.save(\'mb_word2vec.bin\')


2-3 加载模型
# word2vec.Word2Vec.load(file_name)  # file_name:存储的模型的名称

model = word2vec.Word2Vec.load(\'mb_word2vec.bin\')


2-4

# 获取词表
print(model.wv.index2word)
# 获取单词word2vec值
model[\'Apple\']
# 获取单词word2vec值
model[\'sudo\']

# 计算两个单词的语义相似度
print(model.similarity(\'安卓\',\'苹果\'))
print(model.similarity(\'金立\',\'小米\'))

部分代码解释:
1. strip()
https://blog.51cto.com/u_15149862/2812172
2. print(sentences[:10])
https://blog.51cto.com/u_15149862/2704954

部分理论说明:
什么是 Word2Vec?
https://blog.51cto.com/u_15149862/2897151

 

 

以上是关于20210611 word2vec 的代码实现的主要内容,如果未能解决你的问题,请参考以下文章

AI简报20210611期Arm v9架构来啦开源实战教你实现文字识别!

word2vec原理推导与代码分析

Spark Word2Vec算法代码实现

机器学习算法实现解析——word2vec源代码解析

NLPTensorflow下word2vec代码详解

从零开始学自然语言处理——手把手带你用代码实现word2vec