详解机器翻译任务中的BLEU

Posted 2022-07-11 aelum

目录

• 一、$n$ 元语法（N-Gram）
• 二、BLEU（Bilingual Evaluation Understudy）
• • 2.1 BLEU 定义
  • 2.2 BLEU 的探讨
  • 2.3 BLEU 的简单实现
• References

一、$n$ 元语法（N-Gram）

$n$ 元语法（n-gram）是指文本中连续出现的 $n$ 个词元。当 $n$ 分别为 $1,2,3$ 时，n-gram 又叫作 unigram（一元语法）、bigram（二元语法）和 trigram（三元语法）。

$n$ 元语法模型是基于 $n-1$ 阶马尔可夫链的一种概率语言模型（即只考虑前 $n-1$ 个词出现的情况下，后一个词出现的概率）：

$$\begin{array}{rl}\text{unigram:}& P(w_1,w_2,\cdots ,w_T)=\prod _{i=1}^{T}P(w_i)\\ \text{bigram:}& P(w_1,w_2,\cdots ,w_T)=P(x_1)\prod _{i=1}^{T-1}P(w_{i+1}|w_i)\\ \text{trigram:}& P(w_1,w_2,\cdots ,w_T)=P(x_1)P(x_2|x_1)\prod _{i=1}^{T-2}P(w_{i+2}|w_i,w_{i+1})\end{array}$$

二、BLEU（Bilingual Evaluation Understudy）

2.1 BLEU 定义

BLEU（发音与单词 blue 相同） 最早是用于评估机器翻译的结果， 但现在它已经被广泛用于评估许多应用的输出序列的质量。对于预测序列 pred 中的任意 $n$ 元语法， BLEU 的评估都是这个 $n$ 元语法是否出现在标签序列 label 中。

BLEU 定义如下：

$$\text{BLEU}=\exp \left(\min \left(0,1-\frac{\text{len(label)}}{\text{len(pred)}}\right)\right)\prod _{n=1}^k{p}_n^{1/2^n}$$

其中 $\text{len(*)}$ 代表序列 $\ast$ 中的词元个数，$k$ 用于匹配最长的 $n$ 元语法（常取 $4$），$p_n$ 表示 $n$ 元语法的精确度。

具体而言，给定 label：$A,B,C,D,E,F$ 和 pred：$A,B,B,C,D$，取 $k=3$。

首先看 $p_1$ 如何计算。我们先将 pred 中的每个 unigram 都统计出来：$(A),(B),(B),(C),(D)$，再将 label 中的每个 unigram 都统计出来：$(A),(B),(C),(D),(E),(F)$，然后看它们之间有多少匹配的（不可以重复匹配，即必须保持一一对应的关系）。可以看出一共有 $4$ 个匹配的，而 pred 中一共有 $5$ 个 unigram，于是 $p_1=4/5$。

再来看 $p_2$ 如何计算。我们先将 pred 中的每个 bigram 都统计出来：$(A,B),(B,B),(B,C),(C,D)$，再将 label 中的每个 bigram 都统计出来：$(A,B),(B,C),(C,D),(D,E),(E,F)$，然后看它们之间有多少匹配的。可以看出一共有 $3$ 个匹配的，而 pred 中一共有 $4$ 个 bigram，于是 $p_2=3/4$。

最后看 $p_3$ 如何计算。我们先将 pred 中的每个 trigram 都统计出来：$(A,B,B),(B,NLP-00-3BLEU计算$

NLP-00-3BLEU计算

机器学习评判指标

机器翻译评测——BLEU算法详解

机器翻译自动评价之BLEU详解-BLEU: a Method for Automatic Evaluation of Machine Translation

机器翻译自动评价之BLEU详解-BLEU: a Method for Automatic Evaluation of Machine Translation