deeplearning.ai 卷积神经网络 Week 4 听课笔记

Posted ZonghaoChen

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了deeplearning.ai 卷积神经网络 Week 4 听课笔记相关的知识,希望对你有一定的参考价值。

本周课程的主题是两大应用:人脸检测和风格迁移。

 

1. Face verification vs. face recognition

  Verification: 一对一的问题。

    1) 输入:image, name/ID.

    2) 输出:image是否对应这个name/ID。

  Recognition: 一对多的问题。

    1) 数据库存了K个人。

    2)输入:图片。

    3)输出:如果图片中的人属于数据库,则输出ID;否则显示“not recognized”。

  Verification是基础组建,正确率足够高之后,则可以用于recognition。

 

2. One-shot learning

  人脸检测比较难的地方在于只能通过一个样本来进行学习。对于常规的卷积神经网络(CONV -> softmax),表现很差,因为单个样本不足以训练鲁棒的神经网络;另一方面,如果加入新人,softmax的输出就得多一个元素,这意味着要重新训练网络。

  解决的办法是学习“similarity”函数:d(img1, img2) = degree of difference between images. 如果d(img1, img2)小于某个阈值(这是一个超参数),则判断同一个人;否则判断是不同的人。

 

3. Siamese network(Taigman et. al., 2014. DeepFace closing the gap to human level performance.)

  常规的卷积神经网络在卷积层、池化层、全连接层等之后会得到n*1的向量,然后把这个向量送入softmax函数,得到具体分类。Siamese network舍弃了最后的softmax层,把n*1(比如128*1)的向量 f(x(k)) 作为输入图片 x(k) 的编码,两张图片的相似性就用这个编码的差的范数 d(img i, img j)=||f(x(i))-f(x(j))||2 来表征。神经网络不同的权重参数,可以计算出不同的编码。我们训练网络的目的就是训练出一组编码,使得对于相同得人的图片d(img i, img j)足够高,对于不同的人的图片d(img i, img j)足够低。

 

4. Triplet loss(Schroff et al., FaceNet: A unified embedding for face reconition and clustering.)

  叫triplet的原因是会同时看三张图片,一张是参照图片Anchor,一张是正例(Positive),一张是反例(Negative)。我们希望 d(A, P)+α≤d(A, N),其中d(A, P)=||f(A)-f(P)||2,d(A, N)=||f(A)-f(N)||2,α是margin。

  单个样本的 Loss function: L(A, P, N) = max( ||f(A)-f(P)||- ||f(A)-f(N)||+ α, 0),这里加上max的意思是只要小于等于0就可以了,不在乎让loss function更小。

  整个网络的 Cost function:J = ∑L(A(i), P(i), N(i))。训练集可能是1000个人的10k张图片,把这10k张图片组合成(A, P, N)的三元组来训练网络。注意,这里需要同一个人的一对图片A和P,如果训练集里每个人只有一张图片,这个算法是训练不了的。训练好网络之后,可以每个人只有一张照片。

  如何组合(A, P, N)三元组?如果随机选择,那么d(A, P)+α≤d(A, N)太容易训练了。所以我们要找难训练的,即d(A, P) ≈ d(A, N)的情况,神经网络会努力让左边的变小,右边的变大。

 

5. 二分类的算法(Taigman et. al., 2014. DeepFace closing the gap to human level performance.)

  不同于triplet loss的算法,也可以把人脸检测定义为二分类问题,用同一个神经网络把任意两张图片分别转成编码,然后用sigmoid处理编码,如果是同一个人则输出1,否则输出0。

  预测的分类 y_hat = σ( ∑wk|f(x(i))- f(x(j))k| +b),这里σ()是sigmoid函数,f(x(i))k表示图片x(i)的编码f(x(i))的第k个元素,如果编码一共128个元素,则求和符号就是做128次加法。也可以选择其他的预测函数,比如 y_hat = σ( ∑wk (f(x(i))- f(x(j))k)/ (f(x(i))+ f(x(j))k)+b),这是χ2相似度(Kai平方)。

  实际部署的时候,x(i)是要检测的新图片,x(j)是数据库里的图片,数据库里的图片可以不用每次都计算,可以直接预先计算(precompute)好编码f(x(j)),这样只需要每次计算x(i)的编码就行了。

 

6. 风格迁移(Gatys et. al., 2015. A neural algorithm of artistic style.)

  一张内容(Content)图片C,一张风格(Style)图片S,生成(Generate)一张新的图片G。

  Cost function: J(G) = αJcontent(C, G)+βJstyle(S, G)。前者评估C和G的相似度,后者评估S和G的相似度,α和β是权重(NG说这边一个超参数就够了,但原文作者使用了两个)。具体算法是:1)用随机数初始化G,得到一张白噪声的图片;2)梯度下降最小化J(G)。

  Content cost function:用一个预训练过得卷积神经网络(比如VGG),选其中不要太浅(会非常具体地要求两张图片尽量相同)也不要太深(会非常抽象地检测图片中是否有狗)的隐藏层l。假设a[l](C)和a[l](C)分别表示内容图片C和生成图片G在第l层的激活函数值,如果这两个激活值相似,则两张图片内容相似。Jcontent(C, G) = 1/2*||a[l](c) - a[l](G)||2,对应元素的差的平方和。

  Style cost function:图片的风格是用图片不同通道间的相关性来表征的。计算出两张图片在每一个隐藏层的style matrix的差,然后把所有层的都加起来。

 

7. 卷积神经网络主要针对2D的图像,但也可以推广到1D和3D的情况

  1D的例子:心电图诊断,1*14的信号和1*5的filter做卷积(和图像一样,这里其实也是相关,因为信号没有flip),在信号中找filter类似的特征。如果信号有不同的通道,则filter对应的也有那么多通道。

  3D的例子:CT诊断,14*14*14*1的数据和5*5*5*1的filter做卷积,最后一个数字1是指通道数量。另一个应用是视频中检测物体、人物行为等。

 

以上是关于deeplearning.ai 卷积神经网络 Week 4 听课笔记的主要内容,如果未能解决你的问题,请参考以下文章

DeepLearning.ai学习笔记卷积神经网络 -- week2深度卷积神经网络 实例探究

deeplearning.ai 卷积神经网络 Week 4 听课笔记

deeplearning.ai 卷积神经网络 Week 1 听课笔记

DeepLearning.ai学习笔记卷积神经网络 -- week1 卷积神经网络基础知识介绍

吴恩达深度学习笔记(deeplearning.ai)之卷积神经网络

DeepLearning.ai学习笔记卷积神经网络 -- week3 目标检测