请问深度学习是怎么进行训练的呢?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了请问深度学习是怎么进行训练的呢?相关的知识,希望对你有一定的参考价值。

比如手写数字识别,我一个文件夹(文件夹名 1)下有1的数字图片,然后怎么进行训练呢?

参考技术A 可以从多种方向进行调整: 1 将损失函数换成交叉熵损失函数,因为训练后期误差较小时,使用均方误差作为损失函数,则梯度越来越小,因此训练进程会越来越平缓。 2使用随机梯度下降法,防止局部收敛 3调小学习率

冯晓霞教授:游戏中的深度学习


文:冯晓霞,北京师范大学教育学部教授


本文节选自第49期《奕阳幼教评论》

冯晓霞教授:游戏中的深度学习

 

什么是深度学习?区域游戏中幼儿能否进行深度学习?


在孩子的游戏特别是自主游戏中,有没有可能产生深度学习?我们怎么在游戏中指导孩子,让他的学习有效而且有一定的深度?这个问题非常重要。


“深度学习”这个概念是如何提出来的呢?美国学者 Ference Marton和Roger Saljo根据对学生学习过程的实验研究发现:学习过程不一样,结果是不一样的。注重教育过程不等于不要结果,只是说我们要的结果可能与过去不一样。Ference Marton和Roger Saljo根据对学习过程的研究,以及过程与结果之间关系的研究,于1976年发表了《学习的本质区别:结果和过程》一文,最早提出了深度学习(Deep Learning)和浅层学习(Surface Learning)两个相对应的概念。


深度学习和浅层学习不仅仅是针对结果,更主要的是针对学习过程的特点提出来的。例如,浅层学习的特点是被动、机械;以记忆而非理解为主,学习过程缺乏深入探究与思考;学习内容脱离生活实际;与以往的经验缺乏关联;学不致用。


深度学习与浅层学习不同,它是一种主动的、在理解基础上的学习。深度学习具有如下三个特征:理解与批判——注重知识学习的批判性理解,而不是毫不思考地接受;联系与建构——强调新旧知识之间的联系以及多学科知识的融合;迁移与应用——重视学习的迁移运用和问题解决,即在新情境下运用所学以解决问题。


需要特别注意的是,深度学习不等于超越儿童理解能力的高难度内容的学习。深度学习强调学习过程。


究竟什么是深度学习?深度学习是“学习者以高级思维的发展和实际问题的解决为目标,以整合的知识为内容,积极主动地、批判性地学习新的知识和思想,并将它们融入原有的认知结构中,且能将已有的知识迁移到新的情境中的一种学习。”(安福海,2014)从这段话中,我们能看出深度学习描述的是学习过程。


很多人会有一个疑惑:在教师的指导下,幼儿可能进行深度学习,可是,幼儿在游戏特别是自主游戏中能否进行深度学习呢?孩子在自主游戏中是否会产生深度学习,关键在于我们有没有给孩子留下问题的空间,激发他真正动脑筋去解决问题。我觉得这对深度学习非常重要。不管是在游戏中,还是在教师主导的教学中,如果不以问题为中心,深度学习都不可能发生。那么,幼儿在游戏中究竟能不能进行深度学习呢?


01

“五月的风”:一个发生在青岛实验幼儿园的深度学习实例


这里以“五月的风”搭建活动来说明幼儿游戏中的深度学习。青岛的五四广场上有一个建筑叫“五月的风”,如图1所示。孩子们在五四广场看到了“五月的风”,于是想用积木将这个建筑搭建出来。


冯晓霞教授:游戏中的深度学习

图1:青岛五四广场上“五月的风”

 

起初,孩子们用积木搭出了一个上下一样粗的“五月的风”,如图2所示。为什么一开始孩子会搭成这样呢?我想我们应该能够理解他们的行为,这就是他们原来的经验在搭建过程中的作用。因为孩子们到了五六岁时已经具备怎么搭建才能让这个建筑物保持稳定的经验。所以,孩子们首先是追求稳定,因此,搭建出的建筑也就上下一样粗。


冯晓霞教授:游戏中的深度学习

图2:孩子们搭出的上下一样粗的“五月的风”

 

于是,教师将“五月的风”的图片拿给孩子们观察,孩子们发现“五月的风”的中间比较粗。那么,怎样让中间变粗呢?孩子们发现用半圆形积木一层一层往外搭,每一层都往外摆一点儿,中间就会变粗,如图3所示。


冯晓霞教授:游戏中的深度学习

图3:孩子们发现将每层往外摆一点儿,中间就会变粗

 

然而,搭了几层之后,它就塌了。孩子们重新搭了好几次,可都是搭着搭着就塌了。如图4所示。


冯晓霞教授:游戏中的深度学习

图4:孩子们搭着搭着,建筑物就塌了
 

为什么会这样呢?怎样让建筑物不塌呢?当建筑物倒塌时,孩子们本能地就会用手去扶,要么用手托着外边,要么压住里边,这样建筑物不会塌,但是,总不能一直用手压着。如图5所示。


冯晓霞教授:游戏中的深度学习

图5:孩子们用手压着半圆形积木,让它不塌


孩子们想:可以用什么东西代替手压着呢?经过多番尝试,他们发现用小积木代替手压着是可行的。如图6所示。


冯晓霞教授:游戏中的深度学习

图6:孩子们用小积木代替手压着半圆形积木
 

于是,他们用小积木先压住下面的半圆形积木,然后再往上摆半圆形积木。如图7所示。


冯晓霞教授:游戏中的深度学习

图7:孩子们用小积木压住下面的半圆形积木,再往上摆半圆形积木
 

孩子们一层一层搭上去,搭出一个四边对称的“五月的风”,如图8所示。


冯晓霞教授:游戏中的深度学习

图8:孩子们搭出的四边对称的“五月的风”

 

此时,教师再次请孩子们仔细观察“五月的风”建筑物图片,发现实际的“五月的风”中间是不对称的。于是,孩子们让一边往外出来得更多一点,但是,出来得更多的那边就容易塌。他们还是用原来的方式,用小积木压着内侧,但是,出来更多的那边依然会塌,如图9所示。


冯晓霞教授:游戏中的深度学习

图9:孩子们让一边往外出来的更多一点

 

孩子们尝试用长条积木代替小积木,发现长条积木能压着两边,保持建筑物稳定。如图10 所示。


冯晓霞教授:游戏中的深度学习

图10:孩子们用长条积木代替小积木,压着半圆形积木

 

于是,孩子们一层一层往上搭,最后搭出了“五月的风”。如图11、图12所示。


冯晓霞教授:游戏中的深度学习

图11:孩子们一层一层往上搭


冯晓霞教授:游戏中的深度学习

图12:孩子们搭出的“五月的风”

 

在搭建“五月的风”活动中,我们可以看到深度学习的多种特征:幼儿的积极主动性,真实的问题解决,已有经验的运用,新经验的获得与迁移,批判与反思,内容与现实世界的联系,对有关概念(重心、平衡、对称等)和原理(要保持搭建物不倒塌必须让每一块积木所受的重力都落在支撑面上)的建构与理解等。


实际上,在游戏活动中,对于一些知识性结果,孩子也能获得。虽然孩子不会说这些词,如重心、平衡、对称等,但是,孩子的行为表明他对这些已经有了基本的理解。


知识并非都是能说出来的,能用语言表述的才是知识。知识也有各种形态:能用语言表述出来的,我们称之为陈述性知识;另外有一些不能用语言表述出来,但可以用做的方式显示出来的知识,我们称之为程序性知识。


过去我们往往重视的是陈述性知识,觉得“能说出来就是学会了”“说不出来就是没学会”。其实,不是这样的。因为有一些知识(比较特殊的知识),它不是平常大家认为的那种陈述性知识,但它确实又是存在的。


例如,孩子到五六岁时,他讲的话,基本上我们都能听懂。他能准确发音,运用准确的词汇和语法结构。然而,你若问他是如何将词语组合成合乎语法的句子时,他肯定不知道怎样回答你。因为他还没有掌握能陈述出来的知识,但是,他有能运用的、能实际做出来的知识。所以,知识是有不同类型的。


为什么过去我们总是认为孩子能将知识说出来就代表他学会了呢?那是因为我们对知识的类型缺乏了解。现在很多家长看幼儿园教没教,孩子学没学到,也更多的是从孩子认多少字、算多少题、背多少唐诗来判断。用现在的话说,幼儿园“小学化”程度越高,家长越欢迎。


为什么?他们觉得能看到幼儿园在教什么。幼儿园说“以游戏为基本活动”,家长有时候不相信。他们为什么不信?他们表示问孩子在幼儿园学到了什么,孩子都说不出来。家长不知道还有其他类型的知识。其实孩子已经了解了很多概念和原理(如搭“五月的风”活动中,孩子对重心、平衡、对称的建构与理解),只是这些概念和原理是用行动显示出来的,而不是用语言陈述出来的。所以,我们不能忽略这类程序性知识,要打破“能说出来就是学会了”“说不出来就是没学会”的认知。


02

深度学习的过程性特征


从“五月的风”这个搭建活动中,我们可以得出,幼儿在区域游戏中也能进行深度学习。深度学习是一种有意义的、因而也是有长远效果的学习。我前面一再强调,深度学习描述的是学习过程的特征。过程不一样,孩子获得的东西是不一样的。


孩子通过动手操作、想办法解决问题,他解决问题的能力会越来越强,他能尝试从解决问题中抽象出核心的经验,这些核心经验将来可以迁移至他解决其他类似问题中。这就是重要的学习。而不是过去我们所认为的孩子能说出来多少拼音,能计算几加几才是学习。反过来说,孩子能计算并不代表孩子真正理解数量之间的关系。


例如,中央教科所的周老师曾到农村的一个学前班看活动。 她看的第一节课就是数学。 这个班的老师上数学课与小学数学课基本上差不多。 孩子做加减运算非常快,准确率也很高。 到了下午自由活动时,孩子们用当地一些自然材料做粘贴画。

有一个孩子粘了一个头像。 周老师问这个孩子粘的是什么,孩子回答说是妈妈的头像。 周老师又问他粘妈妈这边的眉毛用了多少个瓜子皮,他进行点数并告诉了周老师数量。 周老师接着问他粘妈妈另一边的眉毛用了多少个瓜子皮,孩子接着进行了点数。

周老师问他粘妈妈两边的眉毛一共用了多少瓜子皮,他于是从一边眉毛的瓜子皮数到另一边。 周老师很诧异,问他: “上午的数学课,你们不是学了加减法吗? 你能不能将妈妈两边眉毛的瓜子皮数量加一下,看一共是多少? 不要从头数到尾”。 孩子瞪着她看了很久,接着从头开始数。


从这个例子当中,我们可以看出,孩子虽然记住了加减运算,但是他并没有真正理解数量之间的关系。所以,我们不能迷信能说出来的知识,能说出来的知识也许是死记硬背下来的。这种机械的记忆和学习就是一种浅层学习。因为它不是建立在理解的基础上。而真正的理解,对于幼儿来说,既需要直接感知、动手操作,也需要动脑筋思考。


最近二十年,国际上关于学习理论的研究有了比较大的进展。许多研究发现,深度学习的一个重要特点是解决问题,而问题常常要设计在情境当中。情境中的学习往往比脱离情境的抽象知识的学习效果要好很多。所以,在这种情况下,情境认知与情境学习、情境教学,创设有意义的学习环境等概念和提法日益进入教育者的视野。情境性是深度学习的特点,也是它产生的一个重要条件。


情境认知与情境学习简单地说,指的是在应用情境中进行学习。即“在哪里用,就在哪里学”。“情境中学”的观点对幼教工作者来说并不陌生。游戏可以说是幼儿的一种典型的情境性学习活动,而“活动区的创设”目的就是要为幼儿提供一种有意义的学习情境。


1989年《幼儿园工作规程(试行)》提出“创设与教育相适应的环境”实际上就蕴含着我们要把孩子的学习变成一种情境性学习,把教学变成一种情境中教学的理念,尽管当时我们没有用“情境教学”这个词。


我觉得现在幼教界最大的优点就是爱学习,但是,有时也“太爱学习”。我们只要看到一个新概念,就想将它引入到幼儿园。实际上,许多概念的思想和内涵在《幼儿园工作规程(试行)》(1989年)、《幼儿园教育指导纲要(试行)》(2001年)等文件中早就有所体现。


例如,前两年特别热的“学习故事”,它的思想和内涵在我们的《幼儿园教育指导纲要(试行)》“教育评价”部分早就有非常明显的体现,如《幼儿园教育指导纲要(试行)》提出“评价应自然地伴随着整个教育过程进行,综合采用观察、谈话、作品分析等多种方法”“幼儿的行为表现和发展变化具有重要的评价意义,教师应视之为重要的评价信息和改进工作的依据”,这与“学习故事”的思想和内涵一致。


所以,当我们真正了解教育实践,了解新概念的含义,我们的学习会变得容易很多。我们原有的经验可以用来理解、接纳新的概念。当我们持有思考、动脑筋的学习观时,我们就会分析这些新来的概念。


事实上,不存在新的概念与我们原有的经验完全不相关的情况。但是,如果我们学习时,不调动原有的知识经验,所有的新概念对我们而言都将是全新的内容。当然这并不代表我们不学习新的内容。新的概念可能在操作方法上往前走了一步,但是,不要将新概念看成是全新的、完全零起点的内容。


许多幼儿园老师说,你们这些专家少提一些新的概念,我们幼儿园光着脚丫都跟不上你们的节奏。其实,幼儿园教育是有基础的,只要我们会分析,那我们的学习就不会那么被动。因此,我一直认为,在课程改革路上,幼教是走在前端的。


备注: 因原文章较长,故这里节选了第一部分内容。


-END-


关注“奕阳教育”了解更多学前教育资讯。

以上是关于请问深度学习是怎么进行训练的呢?的主要内容,如果未能解决你的问题,请参考以下文章

神经网络学习小记录70——Pytorch 使用Google Colab进行深度学习

深度学习的模型是怎么训练/优化出来的

使用Floyd进行GPU深度学习训练

可以使用经过普遍训练的深度学习分类器在子类中进行分类吗?

深度学习该怎么学?

使用 Keras 进行深度学习 - 训练时没有学习率