Python Tensorflow下的Word2Vec代码解释

Posted 2020-07-08

前言：

作为一个深度学习的重度狂热者，在学习了各项理论后一直想通过项目练手来学习深度学习的框架以及结构用在实战中的知识。心愿是好的，但机会却不好找。最近刚好有个项目，借此机会练手的过程中，我发现其实各大机器学习以及tensorflow框架群里的同学们也有类似的问题。于是希望借项目之手分享一点本人运行过程中的理解以及经验，希望在有益大家工作的基础上抛砖引玉，得到行业内各位专业人士的批评指点，多谢大家支持！

第一章博客我将会分为两个部分，这一部分将讲述Word2Vec在tensorflow中官方提供的basic版本的构造原理以及如何搭建一个CBOW模型来弥补提供版本里缺失的模型构架。于下一个部分里，我会重点对比tensorflow下basic, optimised以及gensim三个版本的Word2Vec的运行结果情况。

代码解析：

首先，Tensorflow提供的基础教程已经讲解了什么是Word2Vec以及Tensorflow是如何构建这个网络来训练的。教程的地址请看这里。另外这个basic版本的代码可以在这里找到。

代码的结构看似混乱，其实很直白。首先，第61行限制了这个demo可以学习一共50000个不同的单词。之后，在build_dataset(words)函数里，第65行展示了Python语言的强劲，即一行整理整个输入。在count的UNK(也就是unknown单词，即词频率少于一定数量的稀有词的代号)后用extend函数嵌入count数为从高网低数第vocabulary_size-1个，这样所有的重复数量少于49999个词儿的就只能对不住了，count将会把它排挤在外。形成count后dictionary来自于对count里的词频进行整理，除去重复次数但换做排行顺序作为这个dict结构的key。单词本身即成为了dict结构的value。之后，将输入的单词转化为他们在dictionary中的代码以及最后，统计下输入数据里有多少词不在这个dictionary里，按照个数增加UNK的数量，并把dictionary函数按照由高频到低频的排序方法排好顺序。由此，build_dataset函数成功的重建了输入数据以及形成了代码单词对照表，其中data将会被用于训练模型而dictionary将可以最为最后查询矢量及单词关系的翻译本。如果大家不希望限定dictionary里的vocabulary_size怎么办呢？其实答案很简单。Mikolov原文里表示只要除去频率少于3到10的词儿就好，那么我们可以对该函数做以下修改将可以达成：

def build_dataset(words, min_cut_freq):
  count_org = [[‘UNK‘, -1]]
  count_org.extend(collections.Counter(words).most_common()) #这里我们收集全部的单词的词频
  count = [[‘UNK‘, -1]]
  for word, c in count_org:
    word_tuple = [word, c]
    if word == ‘UNK‘:   #保留UNK的位置已备后用
        count[0][1] = c
        continue
    if c > min_cut_freq: #这里定义一个para为min_cut_freq，少于这个数量的将会被咔掉
        count.append(word_tuple)
  dictionary = dict()
  for word, _ in count:
    dictionary[word] = len(dictionary)
  data = list()
  unk_count = 0
  for word in words:
    if word in dictionary:
      index = dictionary[word]
    else:
      index = 0  # dictionary[‘UNK‘]
      unk_count += 1
    data.append(index)
  count[0][1] = unk_count
  reverse_dictionary = dict(zip(dictionary.values(), dictionary.keys()))
  return data, count, dictionary, reverse_dictionary

 之后，源代码第91行的generate_batch其实就是构建skip-gram模型的入口，而不是自第137行with graph.as_default()之后的框架。137行之后的为建立一个简单的MLP模型以便tensor在模型里flow。而这个tensor以及其target的形式才是构建模型的要素。如果大家仔细阅读后会发现在一个输入为“蝙蝠侠战胜了超人,美国队长却被钢铁侠暴打”这句中，在build_dataset函数转换后可能蝙蝠侠被它的在dictionary中的代码3替代，战胜了被90替代，超人被600替代，美国队长为58,被为77,钢铁侠为888以及暴打为965。于是这句话变成了[3,90,600,58,77,888,965]. 假设window size是3, 这里的模型是skip-gram，这个generate_batch函数从90出发，输出的batch为[90,90,600,600,58,58,77,77,888,888], 输出的target为[3,600,90,58,600,77,58,888,77,965]. 那么，如何构建CBOW模型呢？其实很简单，注意到CBOW模型的输入以及预测跟SkipGram正好相反，那么我们把第109行的batch和第110行的labels对调不就okay了么？具体代码如下：

def generate_cbow_batch(batch_size, num_skips, skip_window):
  global data_index
  assert batch_size % num_skips == 0
  assert num_skips <= 2 * skip_window
  batch = np.ndarray(shape=(batch_size), dtype=np.int32)
  labels = np.ndarray(shape=(batch_size, 1), dtype=np.int32)
  span = 2 * skip_window + 1 # [ skip_window target skip_window ]
  buffer = collections.deque(maxlen=span)
  for _ in range(span):
    buffer.append(data[data_index])
    data_index = (data_index + 1) % len(data)
  for i in range(batch_size // num_skips):
    target = skip_window  # target label at the center of the buffer
    targets_to_avoid = [ skip_window ]
    for j in range(num_skips):
      while target in targets_to_avoid:
        target = random.randint(0, span - 1)
      targets_to_avoid.append(target)
      #这里的batch和labels是skipgram模型的
      #batch[i * num_skips + j] = buffer[skip_window] 
      #labels[i * num_skips + j, 0] = buffer[target]
      #这里的batch和labels是CBOW模型的，原理是对掉上面skipgram模型的两行。
      batch[i * num_skips + j] = buffer[target]
      labels[i * num_skips + j, 0] = buffer[skip_window]
    buffer.append(data[data_index])
    data_index = (data_index + 1) % len(data)
  return batch, labels

由此，我们只需要在后面的batch_inputs, batch_labels = generate_batch(batch_size, num_skips, skip_window)函数更换函数为你的CBOW模型函数就好了。