NLP基础知识点：CIDEr算法

Posted 2021-07-16 梆子井欢喜坨

CIDEr的主要应用场景为Image Caption
参考论文：[1] Vedantam R , Zitnick C L , Parikh D . CIDEr: Consensus-based Image Description Evaluation[J]. IEEE, 2015.

目的是评估对图像$I_i$，一个候选句（candidate sentence）$c_i$和一组和一组图像描述 S i = { s i 1 , . . . , s i m } S_i = \\{s_{i1},...,s_{im}\\} Si​={si1​,...,sim​}的一致性有多好。

直觉上，一致性度量将编码候选句子中的n-grams在参考句子中出现的频率。
同样，参考句中不存在的n-grams也不应该出现在候选句中。
最后，通常出现在数据集中所有图像上的n-grams应该被赋予较低的权重，因为它们的信息可能较少。

• $h_k(s_{ij})$: n-gram ${\omega }_k$出现在参考句$s_{ij}$中的次数
• $h_k(c_i)$: n-gram ${\omega }_k$出现在候选句$c_i$中的次数

为每个n-gram ${\omega }_k$计算TF-IDF权重
Ω is the vocabulary of all n-grams
I is the set of all images in the dataset.
与参考集相对应的公式如下：

这个公式中，
TF部分是归一化的${\omega }_k$的词频
IDF部分的分子为图像的总数量，分母为其参考句中含有${\omega }_k$的图像的数量。

同理，应该可以计算一个$g_k(c_i)$，假设只有一个候选句
它的公式可能为：(这里原论文没有给出计算公式，只是猜测)
$g_k(c_i)=TF(k)\ast IDF(k)$

$TF(k)=\frac{h_k(c_i)}{{\sum }_{w\in \Omega }{h}_l(c_i)}$

$IDF(k)=log(\frac{|I|}{{\sum }_{I_p\in I}min(1,h_k(c_p))})$

计算一个平均余弦相似度$CIDE{r}_n(c_i,S_i)$（参考句有$m$句）
$g^n(c_i)$是一个由所有的$g_k(c_i)$组成的向量（所有长度为n的n-grams），$g^n(s_{ij})$同理

进行一个不同n-grams的加权求和，从经验来看，取$w_n=1/N$效果最佳
原论文中使用N = 4.

改进：CIDEr-D
（后续有空做整理）