排序之损失函数(系列2)

Posted AI蜗牛之家

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了排序之损失函数(系列2)相关的知识,希望对你有一定的参考价值。

文章目录

继上一篇排序之指标集锦(系列1)排序指标介绍之后,继续梳理排序中的损失函数。

Ranking Loss被用于很多领域和神经网络任务中(如 Siamese Nets 或 Triplet Nets),这也是它为什么拥有 Contrastive Loss、Margin Loss、Hinge Loss 或 Triplet Loss 等这么多名字的原因。

1.Ranking Loss 函数:度量学习

像 Cross-Entropy Loss 或 Mean Squear Error Loss 这些 Loss 函数,它们的目的是为了直接预测一个标签或一个值,而 Ranking Loss 的目的是为了预测输入样本间的相对距离。这样的任务通常被称作度量学习。

Ranking Loss 函数在训练数据方面非常灵活:我们只需要知道数据间的相似度分数,就可以使用它们。这个相似度分数可以是二维的(相似/不相似)。例如,想象一个面部识别数据集,我们知道哪些人脸图像属于同一个人(相似),哪些不属于(不相似)。使用 Ranking Loss 函数,我们可以训练一个 CNN 网络,来推断两张面部图像是否属于同一个人。

要使用 Ranking Loss 函数,我们首先要定义特征抽取器,它能从 2 个或 3 个样本中抽取表征样本的 embedding;接着我们定义一个能度量他们相似度的函数,如欧拉距离;最后,我们训练特征抽取器,在相似样本的条件下,所产生出的 embeddings 的距离相近,反之对于不相似的样本,它们的距离较远。

我们不关心表征 embedding 所对应的值,只关心它们的距离。然而,这种训练方法已经证明可以为不同的任务产生强大的表征。

2.Ranking Losses 表述

Ranking Losses 有不同的名称,但在大多数场景下,它们的表述是简单的和不变的。我们用于区分不同 Ranking Loss 的方式有 2 种:二元组训练数据(Pairwise Ranking Loss)或三元组训练数据(Triplet Ranking Loss)。

这两者都会比较训练数据的表征之间的距离。

2.1.Pairwise Ranking Loss


该设置会用到正样本对和负样本对训练集,正样本对包含锚样本 x a x_a xa和正样本 x p x_p xp x p x_p xp x a x_a xa相似,负样本对由锚样本 x a x_a xa和负样本 x n x_n xn 组成,在度量中它和 x a x_a xa不相似。

对于正样本对,目标是学习它们的表达,使它们之间的距离 d d d 越小越好;而对于负样本对,要求样本之间的距离超过一个边距 m m m Pairwise Ranking Loss 要求正样本对之间的表达的距离为 0,同时负样本对的距离要超过一个边距(margin)。我们用 r a r_a ra r p r_p rp r n r_n rn 来分别表示锚样本、正样本和负样本的表达, d d d 是一个距离函数,则可以写成:
L = d ( r a , r p ) i f P o s i t i v e P a i r m a x ( 0 , m − d ( r a , r n ) ) i f N e g a t i v e P a i r L = \\left\\\\beginmatrix & d(r_a,r_p) & & if & PositivePair \\\\ & max(0, m - d(r_a,r_n)) & & if & NegativePair \\endmatrix\\right. L=d(ra,rp)max(0,md(ra,rn))ififPositivePairNegativePair

对于正样本对,只有当网络产生的两个元素的表征没有距离时,损失才是0,损失会随着距离的增加而增加。

对于负样本对,当两个元素的表征的距离超过边距 m m m时,损失才是0。然而当距离小于 m m m时,loss 为正值,此时网络参数会被更新,以调整这些元素的表达,当 r a r_a ra r n r_n rn的距离为 0 时,loss 达到最大值 m m m。边距的作用是,当负样本对产生的表征距离足够远时,就不会把精力浪费在扩大这个距离上,所以进一步训练可以集中在更难的样本上。

假设 r 0 r_0 r0 r 1 r_1 r1是样本的表征, y y y为 0 时表示负样本对,为 1 时表示正样本对,距离用欧拉距离来表示,我们还可以把 Loss 写成:
L ( r a , r p , r n ) = y d ( r a , r p ) + ( 1 − y ) m a x ( 0 , m − d ( r a , r n ) ) L(r_a,r_p,r_n) = y d(r_a,r_p) + (1-y)max(0, m-d(r_a,r_n)) L(ra,rp,rn)=yd(ra,rp)+(1y)max(0,md(ra,rn))

2.2.Triplet Ranking Loss

使用 triplet 三元组的而不是二元组来训练,模型的表现更好。Triplets 三元组由锚样本 x a x_a xa,正样本 x p x_p xp,和负样本 x n x_n xn 组成。 模型的目标是锚样本和负样本表达的距离 d ( r a , r n ) d(r_a, r_n) d(ra,rn)要比锚样本和正样本表达的距离 d ( r a , r p ) d(r_a, r_p) d(ra,rp)大一个边距 m m m 我们可以这样写: L ( r a , r p , r n ) = m a x ( 0 , m + d ( r a , r p ) − d ( r a , r n ) ) L(r_a,r_p,r_n) = max(0,m + d(r_a,r_p) - d(r_a,r_n)) L(ra,rp,rn)=max(0,m+d(ra,rp)d(ra,rn))

一起来分析下该 loss 的 3 种情况:

Easy Triplets: d ( r a , r n ) > d ( r a , r p ) + m d(r_a,r_n) > d(r_a,r_p) + m d(ra,rn)>d(ra,rp)+m,相对于正样本和锚样本之间的距离,负样本和锚样本的距离已经足够大了,此时 loss 为 0,网络参数无需更新。
Hard Triplets: d ( r a , r n ) < d ( r a , r p ) d(r_a,r_n) < d(r_a,r_p) d(ra,rn)<d(ra,以上是关于排序之损失函数(系列2)的主要内容,如果未能解决你的问题,请参考以下文章

排序之损失函数(系列2)

排序之损失函数(系列2)

排序之损失函数List-wise loss(系列3)

深度学习和目标检测系列教程 4-300:目标检测入门之目标变量和损失函数

Keras 中的自定义损失函数应该返回批次的单个损失值还是训练批次中每个样本的一系列损失?

第三节2:深度学习必备组件之损失函数和激活函数