集束搜索beam search和贪心搜索greedy search

Posted shona

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了集束搜索beam search和贪心搜索greedy search相关的知识,希望对你有一定的参考价值。

贪心搜索(greedy search)

贪心搜索最为简单,直接选择每个输出的最大概率,直到出现终结符或最大句子长度。

技术图片

 

集束搜索(beam search)

集束搜索可以认为是维特比算法的贪心形式,在维特比所有中由于利用动态规划导致当字典较大时效率低,而集束搜索使用beam size参数来限制在每一步保留下来的可能性词的数量。集束搜索是在测试阶段为了获得更好准确性而采取的一种策略,在训练阶段无需使用。

假设字典为[a,b,c],beam size选择2,则如下图有:

1:在生成第1个词的时候,选择概率最大的2个词,那么当前序列就是a或b

2:生成第2个词的时候,我们将当前序列a或b,分别与字典中的所有词进行组合,得到新的6个序列aa ab ac ba bb bc,然后从其中选择2个概率最高的,作为当前序列,即ab或bb

3:不断重复这个过程,直到遇到结束符为止。最终输出2个概率最高的序列。

 

技术图片

 

显然集束搜索属于贪心算法,不能保证一定能够找到全局最优解,因为考虑到搜索空间太大,而采用一个相对的较优解。而维特比算法在字典大小较小时能够快速找到全局最优解。

而贪心搜索由于每次考虑当下词的概率,而通常英文中有些常用结构,如“is going”,出现概率较大,会导致模型最终生成的句子过于冗余。如“is visiting”和“is going to be visiting”。贪心搜索可以认为beam size为1时的集束搜索特例。

以上是关于集束搜索beam search和贪心搜索greedy search的主要内容,如果未能解决你的问题,请参考以下文章

Beam_search集束搜索

Beam Search生成的句子基本都一样,是不是有方法扩展生成句子的多样性?

Beam Search快速理解及实现讲解(上)

吴恩达深度学习 第五课 第三周 序列模型和注意力机制

关于 Image Caption 中测试时用到的 beam search算法

beam search