21天实战caffe笔记_第二天

Posted 淇淇宝贝

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了21天实战caffe笔记_第二天相关的知识,希望对你有一定的参考价值。

1 传统机器学习

        传统机器学习:通过人工设计特征提取器,将原始数据转化为合适的中间表示形式或者特征向量,利用学习系统(通常为分类器)可以对输入模式进行检测或者分类。流程如下:

        

     传统机器学习的局限在于需要人工设计特征提取器,而且要求较高。而深度学习则不需要,可以由机器自动学习获取,适应性较强。

2 从表示学习到深度学习

    表示学习:原始数据—>自动发现用于检测和分类的表示,如下图 ;

    深度学习:是一种多层表示学习方法,用简单的非线性模块构建而成;这些模块将上一层表示(从原始数据开始)转化为更高层、更抽象的表

3 深度学习类型

    监督学习 : 略

    反向传播学习:略

    卷积神经网络(ConvNet) : 一种特殊类型的深度前馈网络,训练更简单,泛化能力比相邻层全连接更好。四项基本原则:局部互联、共享权值、下采样及使用多个卷积层。  

4 深度学习的反思

  (1) 模型参数远大于数据量时,相当于求解一个欠定方程,存在多接的可能性大,容易过拟合;

  (2) 模型参数远小于数据量时,相当于求解超定方程,可能无解,或者有解但准确率很低,容易欠拟合;

  (3) 模型参数与数据量匹配时,相当于秋季恰定方程,刚刚好,但是如何确定参数和数据量师哥过程问题;

   为了避免过拟合或者欠拟合问题,我们通常将大模型首先在较大的数据集(如ImageNet)上预训练,得到模型,再对特定数据集(如人脸数据)进行精调,即可得到较为理想的结果。

5 参考博客

  (1) http://blog.csdn.net/julialove102123/article/details/71722495

  (2) <深度学习21天实战Caffe.pdf>

以上是关于21天实战caffe笔记_第二天的主要内容,如果未能解决你的问题,请参考以下文章

每日算法&面试题⚡动态规划21天——第二天

21天实战caffe笔记_第三天

蓝桥集训(附加面试题)第二天

蓝桥集训(附加面试题)第二天

工作流笔记第二天_流程定义的CRUD

100天面试——第二天:数据库事务和乐观锁