深度学习的策略都有哪些

Posted 2023-04-15

学习策略作为一个完整的概念，是在布鲁纳1956年提出“认知策略”以后出现的。但时至今日，学习策略仍然没有一个公认的定义。根据已有研究可归纳为以下三种观点： （1）把学习策略看作是内隐的学习规则系统（杜菲，1982）。 （2）把学习策略看作是学习过程和步骤（尼斯比特，1986）。 （3）把学习策略看作是具体的学习方法或技能（梅耶，1988）。我们认为，所谓学习策略是指学习者为了提高学习的效果和效率,用以调节个人行为和认知活动的一种抽象的、一般的方法。

首先，凡是有助于提高学习效果和效率的程序、规则、方法、技巧及调控方式均属于学习策略范畴。其次，学习策略不等于具体的学习方法，是学习方法的选择、组织和加工。许多学习策略具有高度的一般性。但学习策略又不能与具体的学习方法截然分开，要借助具体的学习方法表现出来。再次，学习策略是调节如何学习、如何思考的高级认知能力，是衡量个体学习能力的重要尺度,是会不会学的标志。

当代认知心理学把知识分为三类：1.陈述性知识。是关于世界的事实性知识，主要用来回答事物是什么、为什么的问题。如先乘除后加减，我国国土面积多大等。2.程序性知识。是个人在特定条件下可以使用的一系列操作步骤或算法，主要用来解决怎么做的问题。如运算法则、语法法则等，我们可以用这些规则来处理问题。3.策略性知识。是关于如何学习和如何思维的知识，是关于如何使用前两种知识去学习、组织、解决问题的一般方法。例如，学习时如何有效组织，写作时如何拟定提纲，解决问题时如何明确思维等。当代的学习观重视的是策略性知识的获得，因为只有在策略性知识的指导下，陈述性知识和程序性知识才能更有效地被感知、理解、组织，才能更有效地用来解答问题。诺曼（Norman）指出：“我们仍需要总结出关于怎样学习、怎样组织、怎样解决问题的一般原则，然后设置一些传授这些一般原则的应用性课程，最后把这些一般性原则渗入到学生的各门学科中去。” 参考技术A 1步：边预习边做笔记
2步：做练习题
3步：复习知识点
4步：再做练习题

实施深度学习的策略都有哪些？

实施深度学习的策略有：

1、自下上升的非监督学习

就是从底层开始，一层一层地往顶层训练。采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，这也是和传统神经网络区别最大的部分，可以看作是特征学习过程。具体的，先用无标定数据训练第一层，训练时先学习第一层的参数，这层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到n-l层后，将n-l层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。

2、自顶向下的监督学习

就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调。基于第一步得到的各层参数进一步优调整个多层模型的参数，这一步是一个有监督训练过程。第一步类似神经网络的随机初始化初值过程，由于第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。所以深度学习的良好效果在很大程度上归功于第一步的特征学习的过程。

扩展资料：

区别于传统的浅层学习，深度学习的不同在于：

(1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；

(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据丰富的内在信息。

通过设计建立适量的神经元计算节点和多层运算层次结构，选择合适的输人层和输出层，通过网络的学习和调优，建立起从输入到输出的函数关系，虽然不能100%找到输入与输出的函数关系，但是可以尽可能的逼近现实的关联关系。使用训练成功的网络模型，就可以实现我们对复杂事务处理的自动化要求。

参考资料：百度百科-深度学习（人工神经网络的研究的概念）

参考技术A 实施深度学习的策略有：1、自下上升的非监督学习就是从底层开始，一层一层地往顶层训练。采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，这也是和传统神经网络区别最大的部分，可以看作是特征学习过程。具体的，先用无标定数据训练第一层，训练时先学习第一层的参数，这层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到n-l层后，将n-l层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。2、自顶向下的监督学习就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调。基于第一步得到的各层参数进一步优调整个多层模型的参数，这一步是一个有监督训练过程。第一步类似神经网络的随机初始化初值过程，由于第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。所以深度学习的良好效果在很大程度上归功于第一步的特征学习的过程。扩展资料：区别于传统的浅层学习，深度学习的不同在于：(1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据丰富的内在信息。 通过设计建立适量的神经元计算节点和多层运算层次结构，选择合适的输人层和输出层，通过网络的学习和调优，建立起从输入到输出的函数关系，虽然不能100%找到输入与输出的函数关系，但是可以尽可能的逼近现实的关联关系。使用训练成功的网络模型，就可以实现我们对复杂事务处理的自动化要求。参考资料：百度百科-深度学习（人工神经网络的研究的概念） 参考技术B 实施深度学习的策略有：1、自下上升的非监督学习就是从底层开始，一层一层地往顶层训练。采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，这也是和传统神经网络区别最大的部分，可以看作是特征学习过程。具体的，先用无标定数据训练第一层，训练时先学习第一层的参数，这层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到n-l层后，将n-l层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。2、自顶向下的监督学习就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调。基于第一步得到的各层参数进一步优调整个多层模型的参数，这一步是一个有监督训练过程。第一步类似神经网络的随机初始化初值过程，由于第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。所以深度学习的良好效果在很大程度上归功于第一步的特征学习的过程。扩展资料：区别于传统的浅层学习，深度学习的不同在于：(1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据丰富的内在信息。 通过设计建立适量的神经元计算节点和多层运算层次结构，选择合适的输人层和输出层，通过网络的学习和调优，建立起从输入到输出的函数关系，虽然不能100%找到输入与输出的函数关系，但是可以尽可能的逼近现实的关联关系。使用训练成功的网络模型，就可以实现我们对复杂事务处理的自动化要求。参考资料：百度百科-深度学习（人工神经网络的研究的概念） 参考技术C 实施深度学习的策略有：1、自下上升的非监督学习就是从底层开始，一层一层地往顶层训练。采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，这也是和传统神经网络区别最大的部分，可以看作是特征学习过程。具体的，先用无标定数据训练第一层，训练时先学习第一层的参数，这层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到n-l层后，将n-l层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。2、自顶向下的监督学习就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调。基于第一步得到的各层参数进一步优调整个多层模型的参数，这一步是一个有监督训练过程。第一步类似神经网络的随机初始化初值过程，由于第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。所以深度学习的良好效果在很大程度上归功于第一步的特征学习的过程。扩展资料：区别于传统的浅层学习，深度学习的不同在于：(1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据丰富的内在信息。 通过设计建立适量的神经元计算节点和多层运算层次结构，选择合适的输人层和输出层，通过网络的学习和调优，建立起从输入到输出的函数关系，虽然不能100%找到输入与输出的函数关系，但是可以尽可能的逼近现实的关联关系。使用训练成功的网络模型，就可以实现我们对复杂事务处理的自动化要求。参考资料：百度百科-深度学习（人工神经网络的研究的概念） 参考技术D 实施深度学习的策略有：1、自下上升的非监督学习就是从底层开始，一层一层地往顶层训练。采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，这也是和传统神经网络区别最大的部分，可以看作是特征学习过程。具体的，先用无标定数据训练第一层，训练时先学习第一层的参数，这层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到n-l层后，将n-l层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。2、自顶向下的监督学习就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调。基于第一步得到的各层参数进一步优调整个多层模型的参数，这一步是一个有监督训练过程。第一步类似神经网络的随机初始化初值过程，由于第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。所以深度学习的良好效果在很大程度上归功于第一步的特征学习的过程。扩展资料：区别于传统的浅层学习，深度学习的不同在于：(1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据丰富的内在信息。 通过设计建立适量的神经元计算节点和多层运算层次结构，选择合适的输人层和输出层，通过网络的学习和调优，建立起从输入到输出的函数关系，虽然不能100%找到输入与输出的函数关系，但是可以尽可能的逼近现实的关联关系。使用训练成功的网络模型，就可以实现我们对复杂事务处理的自动化要求。参考资料：百度百科-深度学习（人工神经网络的研究的概念）