beam search原理以及在NLP中应用

Posted 2023-04-30

参考技术A 传统的广度优先策略能够找到最优的路径，但是在搜索空间非常大的情况下，内存占用是指数级增长，很容易造成内存溢出，因此提出了beam search的算法。

beam search尝试在广度优先基础上进行进行搜索空间的优化（类似于剪枝）达到减少内存消耗的目的。

为了达到搜索的目的，beam search 引入了启发函数的概念（h) 来估计从当前节点到目标节点的损失。

启发函数可以使搜索算法只保存能够到达目标节点的节点

beam widthB每一层(each level)广度优先搜索算法保存的节点数目。

可以防止程序内存溢出，并加快搜索速度。

BEAM 作用类似于open list，用于保存下一轮扩展的节点

SET 保存BEAM中的所有的后续节点，是启发函数的输入空间。

a hash table 作用类似于close list，用于保存所有已经访问过的节点

将开始节点（start）增加到BEAM和hash table

循环遍历BEAM的所有后续节点增加到SET中，并清空BEAM

从SET中选择B个启发函数值最优的节点增加到BEAM及hash table中（已经存在hash table中的节点不能增加）

以上过程循环持续进行指导找到目标节点或hash table 满了或主循环结束后BEAM为空（没有找到解）

说明

一下样例都是用两行代表一次主循环执行过程。

两行中的第一行显示增加到SET中的nodes（字母顺序）

第二行显示的是从SET中增加到BEAM中的节点

两行后都有一个hash table显示其状态(hash table 只有7slots，表示可用内存的大小)

以下每一个例子对B取不同的值，并且只展示了四步，用来展示beam search的优势跟不足

beamsearch 目标是从I-> B

搜索的图

exmple 1B= 1,展示Beam search 的不足，找不到解

此时BEAM 为空，导致搜索失败。

因此B的选择非常重要。

exmple 2B= 2 搜索到非最优值

exmple 3B= 3,找到最优值，并且内存没有溢出

exmple 4B= 4 内存占用过多

第二步时造成内存溢出，搜索失败。

在sequence2sequence模型中，beam search的方法只用在测试的情况，因为在训练过程中，每一个decoder的输出是有正确答案的，也就不需要beam search去加大输出的准确率。

test的时候，假设词表大小为3，内容为a，b，c。beam size是decoder解码的时候：

1： 生成第1个词的时候，选择概率最大的2个词，假设为a,c,那么当前序列就是a,c

2：生成第2个词的时候，我们将当前序列a和c，分别与词表中的所有词进行组合，得到新的6个序列aa ab ac ca cb cc,然后从其中选择2个得分最高的，作为当前序列，假如为aa cb

3：后面会不断重复这个过程，直到遇到结束符为止。最终输出2个得分最高的序列。

注意:这里面的具体做法是每次将beam size个结果再分别输入到decoder中得到不同路径！这是beam search基础算法在decode中应用时的具体改动。

参考：

https://www.zhihu.com/question/54356960

blog.csdn.net/xljiulong/article/details/51554780

https://zhuanlan.zhihu.com/p/28048246

集束搜索beam search和贪心搜索greedy search

贪心搜索(greedy search)

贪心搜索最为简单，直接选择每个输出的最大概率，直到出现终结符或最大句子长度。

 

集束搜索(beam search)

集束搜索可以认为是维特比算法的贪心形式，在维特比所有中由于利用动态规划导致当字典较大时效率低，而集束搜索使用beam size参数来限制在每一步保留下来的可能性词的数量。集束搜索是在测试阶段为了获得更好准确性而采取的一种策略，在训练阶段无需使用。

假设字典为[a,b,c]，beam size选择2，则如下图有：

1：在生成第1个词的时候，选择概率最大的2个词，那么当前序列就是a或b

2：生成第2个词的时候，我们将当前序列a或b，分别与字典中的所有词进行组合，得到新的6个序列aa ab ac ba bb bc,然后从其中选择2个概率最高的，作为当前序列，即ab或bb

3：不断重复这个过程，直到遇到结束符为止。最终输出2个概率最高的序列。

 

 

显然集束搜索属于贪心算法，不能保证一定能够找到全局最优解，因为考虑到搜索空间太大，而采用一个相对的较优解。而维特比算法在字典大小较小时能够快速找到全局最优解。

而贪心搜索由于每次考虑当下词的概率，而通常英文中有些常用结构，如“is going”，出现概率较大，会导致模型最终生成的句子过于冗余。如“is visiting”和“is going to be visiting”。贪心搜索可以认为beam size为1时的集束搜索特例。