深度学习_0_相关概念

Posted dean0731

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习_0_相关概念相关的知识,希望对你有一定的参考价值。

SVM损失函数

技术图片

  • L1 = max(0,5.1-3.2+1)+max(0,-1.7-3.2+1) l2 = ...... 损失函数:L=(L1+L2+L3)/3

  • 当所有的分数几乎相同时:L=分类数-1 (就是max中的那个1.共有类数-1个)

  • 为什么使用平均值? 无论分数如何变化loss不会改变

  • 最优化w并不是唯一的,若w1对应loss为0,2*w 对应loss也为0

    因此要选择正确的w L=原来的L+λR(w)(正则项) λ为超参数

  • 常见的是L2正则化

神经网络

技术图片

技术图片

卷积神经网络

卷积

  1. 图片:32*32*3
  2. 卷积核:3*3*3 前两个 3是卷积核大小,后一个是图片通道数,指定步长后滑动一次生成 一个[x,y,1]
  3. 假设有n个卷积核,这样就生成[x,y,n] 缩小图片大小,厚度增加
  4. 参数:n个卷积核 n*3*3 +n(偏执)

池化:

  1. 对于32*32*3的图片 ----->28*28*64 卷积
  2. 28*28*64 -------> 14*14*64 池化
  3. 通常也有滤波器 2*2 每次滑动步长为2 意思就是不重叠
  4. 池化方法通常是最大池化法:在2*2的4个值中选取最大的作为结果 没有参数,64的深度不变
  5. 通常使用最大池化,不是均值池化:因为它表示的是神经元在某一区域的感知, (只可意会,不和言传)
  6. 一般不用0填充

激活函数

技术图片

批量归一化:Btach Normalization

(x-均值)/标准差 是的均值变为0

正则化

dropout

迁移学习

深度学习框架

caffe2----》caffe2:文件形式,不用写代码,

torch-----》pytorch:动态图,定义,计算一起 科研型

theano----》tensorflow:静态图,先定义图,后运行 产品类

keras:作为Tensorflow的高级应用程序接口 面向对象

CNN框架

神经网络架构:AlexNet,VGGNet,GoogleNet,ResNet

其他的架构:NIN,WIDE ResNeT

leNet:数字识别领域

AlexNet:卷积,池化,归一化,在卷积,池化,全连接 与LeNet类似,只不过层数变多

Vgg 16 19

GoogleNet 22 没有全连接层

ResNet 152层 残差网络

1,CNN,卷积神经网络,是以卷积为核心的一大类网络。
2,LeNet、AlexNet、VGG、GoogLeNet,属于CNN。
3 ,RCNN、Fast RCNN、Faster RCNN、YOLO、YOLOv2、SSD,也属于CNN,但和2是另一条路线。
2和3的区别在于,2属于用于图像分类的CNN,3属于用于目标检测的CNN。

RNN

...

图像语义分割:一张图片上有不同类的物体,用方框画出

1,图像划分为n多小块(可能是每个像素就是一块,但复杂度高 ),分别识别属于那一类,然后合在一起

? 对于相邻或重复的块,可以共享计算

2,全连接卷积网络

分类定位

知道物体数量

对象识别:目标检测

使用框框框主一类事物

1,框框大小变化位置移动,以此寻找目标位置 计算量大

2,寻找点状n个点状候选区(1000-2000),经过卷积计算RCNN

3,fast-rcnn

4,ssd 图片分为nxn的网格,检测每个格中概率

5,mask rcnn

PCA:主成分分析 降维方法

生成式模型:无监督学习的一种

pixelRNNs

pixelCNNs

自编码器VAE

生成式对抗网络

目标检测

? 自动驾驶

? 人脸检测与识别

? 行为识别

? 目标计数

实时目标检测

? 目标分类,定位目标

? 实时性与性能 需要平衡

以上是关于深度学习_0_相关概念的主要内容,如果未能解决你的问题,请参考以下文章

基本概念 深度神经网络压缩与优化研究_王征韬

深度学习基础阶段

深度学习_1_神经网络_3_验证码识别

深度学习---手写字体识别程序分析(python)

TensorFlow+Keras深度学习人工智能实践应用_林大贵

深度学习笔记总结(待更新)