深度学习初步：

Posted 2021-02-02 bigdata-stone

一、背景介绍

　　1.深度学习应用

　　2.一点基础：线性分类器

　　　　1)线性分类器得分函数：

　　　　　　(1)给定W,可以由像素映射到类目得分

　　　　　　(2)可以调整参数/权重W，使得映射的结果和实际类别吻合

　　　　　　(3)损失函数是用来衡量吻合度的

　　　　　　(4)损失函数别的称呼：代价函数(衡量和标准之间的差异到底有多大，值越大)　　

　　　　　　(5)损失函数1：hinge loss/支持向量机损失

　　　　　　　　对于训练集中的第i张图片数据xi

　　　　　　　　在W下会得到一个得分结果向量f(xi,W)

　　　　　　　　则在该样本上的损失我们可以由下列公式计算得到

　　　　(6)对于线性模型，可以简化为：

　　　　(7)加入正则项：把每图片计算出来的损失做一个累加

　　

　　　　(8)损失函数2：交叉熵损失(softmax分类器)

　　　　　　对于训练集中的第i张图片数据xi

　　　　　　在W下会有一个得分结果向量fyi

　　　　　　则损失函数记作：

 

　　　　　　　实际工程中一般这么算：

　　　　　　　　

 　　　3.神经网络：

　　　　　　(1)神经网络：一般神经网络结构

 　　　　(2)从逻辑回归到神经元“感知器”

　　　　　　

　　　　(3)添加少量隐层===>浅层神经网络

 

 

二、神经网络非线性能力及原理　

　　1.感知器与逻辑门

　　2.强大的非线性切分能力

　　3.网络表达力与过拟合问题

　　4.BP算法与SGD

三、代码与示例

　　1.github