斯坦福CS231n—深度学习与计算机视觉----学习笔记 课时6

Posted 草莓鲍鲍

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了斯坦福CS231n—深度学习与计算机视觉----学习笔记 课时6相关的知识,希望对你有一定的参考价值。

课时6 线性分类器损失函数与最优化(上)

多类SVM损失:这是一个两分类支持向量机的泛化

SVM损失计算了所有不正确的例子,将所有不正确的类别的评分,与正确类别的评分之差加1,将得到的数值与0作比较,取两者中的最大值。然后将所有的数值进行求和。用平均值来代替不会影响结果。

这些评分都是无标度的,因为我们可以随便选择W,让它成比例地增大或者减小,然后分数也随之成比例地变化。所以分数的大小和它的量度的选择紧密相关,将安全系数的值设为1在某种程度上来说只是一个随意的选择。

在实际的数据集中使用这个损失函数,可能会有一些我们不太希望的性质。我们现在有整个W空间,并且根据这个损失函数他们的工作方式都是相同的,我们希望对于所有W而言有一部分的W是有优先权的,这一优先权基于我们希望W拥有的特点,不用去管数据集,只关心使W达到最优的特点。

正则化

可以用它来处理我们的损失函数,加上了一项正则化函数R(W),而R(W)衡量了W的好坏,我们不仅仅想要数据拟合得更好,也希望能优化W,所以我们找到了一些方法来证明他们是确实有效的,事实上,正则化是为了权衡你的训练损失和你用于测试集的泛化损失,所以正则化是一系列通过损失来使目标相加的技术。

 L2正则化要做的就是尽可能地展开w权重,以便于考虑到所有输入特征或者说所有的像素,并且尽可能地利用这些维度

为什么要用正则化?

假设你有多组权重可以得到相同分数,我们想以某种方式选出最好的。

Softmax分类器

也就是一般化的逻辑斯蒂回归,他是在这些分数的基础上表明损失的一种不同的函数形式,这种解释就是说他是在这些分数基础上实现的,这些分数不是随机的,也不是表明某种边界。从一个问题出发,我们有特定的解读方式,这种方式有一定的规则,这些分数是对应不同类未经标准化的对数概率。

 

以上是关于斯坦福CS231n—深度学习与计算机视觉----学习笔记 课时6的主要内容,如果未能解决你的问题,请参考以下文章

斯坦福CS231n—深度学习与计算机视觉----学习笔记 课时14&&15

全球名校课程作业分享系列--斯坦福计算机视觉与深度学习CS231n之KNN

斯坦福CS231n—深度学习与计算机视觉----学习笔记 课时26&&27

斯坦福CS231n—深度学习与计算机视觉----学习笔记 课时12&&13

斯坦福CS231n—深度学习与计算机视觉----学习笔记 课时8&&9

全球名校课程作业分享系列--斯坦福计算机视觉与深度学习CS231n之tensorflow实践