深度学习之无监督训练
Posted 哈哈丶Stupid
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习之无监督训练相关的知识,希望对你有一定的参考价值。
最近看了一下深度学习的表征学习,总结并记录与一下学习笔记。
1.在标签数据集中做的监督学习容易导致过拟合,半监督学习由于可以从无标签数据集中学习,可以有一定概率化解这种情况。
2.深度学习所使用的算法不能太复杂,否则会加大计算复杂度和工作量。
3.逐层贪婪的无监督预训练有这几个特点:
(1)贪婪:基于贪婪算法,独立优化问题解的各方面,但是每次只优化一个方面,而不是同时同步全局优化。
(2)逐层:各个独立方面可以看做网络的每一层,每次训练的第i层,都会固定前面的所有层。
(3)无监督:每次训练都是无监督表征学习算法。
(4)预训练:训练前的一步操作。
4.在分类任务中减少测试误差,初始化的参数选择对模型产生显著正则化影响,通俗点就是优化效果更明显。
5.无监督预训练还是有一些缺点的,比如需要两个或更多的训练阶段,则需要更多的参数来支持,同时使用有监督和无监督时,通常只需要一个超参。额外项系数减少,优化效果会相应减少
6.无监督学习的四种实现模型
(1)自动编码器,优点是技术简单重建输入,可堆栈多层,直觉型基于神经科学研究
缺点是贪婪训练每一层,没有全局优化,比不上监督学习表现,层一多会失效
(2)聚类学习优点聚类相似输出可被多层堆栈,直觉型且基于神经科学研究。
缺点是贪婪训练每一层没有全局优化,在一些情况下比不上监督学习的表现,层数增加会失效,收益递减。特别的,受限RBMs,DBMs,DBNs难以训练,而配分函数的数值难题,还未普遍用来解决问题。
(3)生成模型,尝试在同一个时间创建一个分类网络和一个生成图像模型。
优点是整个全局训练
缺点难以训练和转化,在某些情况下和监督学习表现相似,需要论证展示方法的可用性
以上是关于深度学习之无监督训练的主要内容,如果未能解决你的问题,请参考以下文章