几个概念

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了几个概念相关的知识,希望对你有一定的参考价值。

1、得分函数

  线性分类器:在坐标系上就是一直线,大于它就是1,小于它就是0。

技术分享

 

 一张图假设是32*32*3的像素矩阵,首先把它平展为3072*1的向量,如果最后结果只能是10个类别。那么得分函数结果将是10*1的向量。w将是10*3072的矩阵,b是10*1的向量。

意思就是,这张图通过计算,属于这一类的得分是多少。

技术分享

2、损失函数

  得分函数结束后,每一个类都有得分。将这些预测结果和实际的结果求出一个偏差,来表明预测的准确性。

  1)多类别支持向量机损失/Multiclass Support Vector Machine loss

    正确的类别结果获得的得分比不正确的类别,至少要高上一个固定的大小Δ。类得分结果f(xi,W),其中第j类得分我们记作f(xi,W)j,该图片的实际类别为yi。就是每个类的得分-实际类的得分+Δ,再和0取最大值。

    技术分享

 

3、正则化

  损失函数存在一弊端,

 假设存在一组w使得一个类减去实际类的得分小于10,则一定存在一组γ*w使得其得分大于10。所以要加上一个正则项,在下方式中,是把所有W的元素的平方项求和

技术分享

4、过拟合(overfitting)、泛化能力

  泛化能力:用来表征学习模型对于未知数据的预测能力。

  过拟合:在学习模型的时候,一味的最小化训练误差,所选的模型的复杂度可能会很高,这种现象称为过拟合。出现过拟合的原因是因为训练集中的数据本身就存在有噪声,一味的追求训练误差的最小化,会导致对未知数据的预测能力降低。

  避免过拟合的方法有很多:early stopping、数据集扩增(Data augmentation)、正则化(Regularization)包括L1、L2(L2 regularization也叫weight decay),dropout。

技术分享

5、softmax分类器

  有两种特别常见的分类器,SVM是其中的一种,而另外一种就是Softmax分类器。

  做的事情就是把一列原始的类别得分归一化到一列和为1的正数表示概率。

  技术分享

6、激励函数

  每一次输入和权重w线性组合之后,都会通过一个激励函数(也可以叫做非线性激励函数),经非线性变换后输出。

7、梯度下降

  实际是反向传播的机制,目的是找到能让损失函数最小的参数W。

  给损失函数求导,也就是梯度,实际是损失函数变化率最快的方向。

  梯度的方向是函数增大方向,负梯度才是下降方向。

  步长,也叫学习率。

  计算得到梯度之后,使用梯度去更新已有权重参数的过程叫做『梯度下降』。

8、后向传播

  BP(backpropgationalgorithm ):后向传导算法,顾名思义就是从神经网络的输出(顶层)到输入(底层)进行求解

  根据误差信号修正每层的权重

 

以上是关于几个概念的主要内容,如果未能解决你的问题,请参考以下文章

机器学习几个重要概念

WebRTC 源码分析之一:几个核心设计概念

FormData、Blob、Map等几个对象概念

WebLogic(12C)——几个基本概念

关于ORACLE数据库名以及数据实例名等几个重要概念

一个简单的案例,理解threejs中几个基本概念