Tensorflow的采样方法：candidate sampling

Posted 2022-12-07 luchi007

采样介绍

假如我们有一个多分类任务或者多标签分类任务，给定训练集$(x_i,T_i)$，其中$x_i$表示上下文，$T_i$表示目标类别(可能有多个).可以用word2vec中的negtive sampling方法来举例，使用cbow方法，也就是使用上下文$x_i$来预测中心词(单个target$T_i$)，或者使用skip-gram方法，也就是使用中心词$x_i$来预测上下文(多个target($T_i$)).

我们想学习到一个通用函数$F(x,y)$来表征上下文$x$和目标类$y$的关系，如Word2vec里面，使用上下文预测下个单词的概率。

完整的训练方法，如使用softmax或者Logistic回归需要对每个训练数据计算所有类$y \\in L$的概率$F(x,y)$，当$|L|$非常大的时候，训练将非常耗时。

“candidate sampling”训练方法包括为每一个训练数据$(x_i,T_i)$构造一个训练任务，使得我们只需要使用一个较小的候选集合$C_i \\in L$，就能评估$F(x,y)$,典型的，candidate set $C_i$包含目标类别$T_i$和一些随机采样的类别$S_i \\in L$：

$$C_i = T_i \\cup S_i$$ , $S_i$的选择可能依赖 $x_i$和 $T_i$，也可能不依赖。

$F(x,y)$可以使用神经网络计算来表征(也就是TensorFlow里面常用的logits)

TensorFlow中各种采样

其中：

• $Q(y|x)$表示的是给定context$x_i$采样到$y$的概率
• $K(x)$表示任意不以来候选集的函数
• $logistic-training-loss = \\sum_i(\\sum_y \\in POS_i log(1+exp(-G(x_i,y)) )+\\sum_y \\in NEG_i log(1+exp(G(x_i,y)) ))（1）$
• softmax−training−loss=∑i采样softmax（Sampled softmax ）

  Candidate Sampling Sampled Softmax

  tf.nn.fixed_unigram_candidate_sampler解释

  tf.nn.fixed_unigram_candidate_sampler解释

  TensorFlow 中的计划采样

  Tensorflow 数据集 API 中的过采样功能