《Attention Augmented Convolutional Networks》注意力的神经网络

Posted 2021-10-23 yjphhw

paper: 《Attention Augmented Convolutional Networks》 https://arxiv.org/pdf/1904.09925.pdf

这篇文章是google brain的，应该有分量。上来就说：卷积神经网络有一个重要的弱点就是 它仅仅操作于于一个领域，对于没有考虑到全局信息有损失。

（这就是全局和局部的辨证关系。）

注意力机制，以一种能够把握长距离作用的手段，在序列模型和生成模型里使用。这篇文章使用注意力机制到判别模型中来，作为替代卷积的手段。（非常具有ambition）

这篇文章由于使用的是tensorflow 所以表述和 pytorch不同 （tensorfow 是 w*h*c pytorch 是 c*w*h)

在论文的self-attention over image 部分里使用了《Attention is All You Need》的方法介绍有人已经研究过了 在这里 ：https://kexue.fm/archives/4765    （苏同学的博客里有不少干货）

总之和上一篇里Self-Attention Generative Adversarial Networks介绍的方法几乎一致。所以就直接参考上边博客的内容。