关于ML的思考讲座-周zh-11.30日

Posted bluebluesea

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于ML的思考讲座-周zh-11.30日相关的知识,希望对你有一定的参考价值。

1.深度神经网络

技术分享图片

1.以往神经网络采用单或双隐层结构,虽然参照了生物上的神经元,但是从本质上来说还是数学,以函数嵌套形成。

2.通常使用的激活函数是连续可微(differentiable)的,sigmoid函数或者是右侧的,本质上是减少梯度的降低速度。

3.现在神经网络的层数在逐级增加,几千层的也比较常见。

4.机器学习普遍存在的问题就是过拟合,如果没有过拟合,那么就非常简单了。

2.为什么要使用深度的?

技术分享图片

增加学习复杂度->增强学习能力:

①增加隐藏层数的节点,即增加模型宽度;

②增加隐藏层的层数,即增加模型深度。

事实上,增加模型层数比增加单元数更加有效。

同时,增加模型的复杂度也是增加过拟合的风险,增加训练的困难:

①对于过拟合,使用大数据训练

②对于训练,使用更好的设备

当在很多层里传播时,误差函数梯度会分散,很难去使用BP算法,因为BP算法是要求梯度的。

 3.表示学习

技术分享图片

以前的学习方法中,对于图片或者其他都有特征提取,特征是人为规定的,所以有特征工程,提取特征之后进行分类学习。

在深度学习中,特征提取是表示学习种自动进行的,就是输入图片直接出来结果,称为端到端的学习。

4.模型复杂度与数据

技术分享图片

层到层的处理,特征转换,用到深度模型,深度模型又容易过拟合,难以训练,计算代价高。

所以针对上述三点:大数据,训练技巧,强有力的计算工具(GPU)。

那么对于上一点的大数据又eat big data,那么只能是足够的模型复杂度,对于线性模型来说,三千个数据和三千万个数据效果可能是一样的,所以就需要提高模型复杂度。

而复杂的模型就又回到了deep model上面。

5.对于深度模型重要的点

技术分享图片

1.层到层的处理

2.特征转换

3.足够的模型复杂度

从应用角度来说,在视频图像语音之外的很多任务上,深度神经网络并非最佳选择,甚至表现不佳,比如在很多Kaggle上,随机森林后者XGBoost表表现更好。

最后周老师还提到,现在随机森林这个方面刚刚开始还是有许多问题可以研究的。

6.重新审视深度模型

技术分享图片

1.目前的深度模型就是深度神经网络,深度学习也是指深度神经网络。

2.现在很多规律性质并非可微,通过可微构件建模最优。

3.机器学习中有很多不可微构建,无法通过BP训练。

所以目前寻找不需要梯度的算法来训练神经网络是需要的。

7.新探索

技术分享图片

深度森林:

1.使用不可微的数模型,不通过BP训练。

2.超参数数目远少于DNN,易于训练

3.模型复杂度可以根据数目自定义确定,小数据也适用

4.在很多任务上性能接近或者超过DNN

8.关于深度森林

 技术分享图片

可微是模型的根本弱点;放弃BP。

新型深度学习模型,例如基于非可微构建的、非神经网络深度模型的探索,可望成为新兴研究方向

9.深度森林效果

技术分享图片

关于这个支付套现的系统设计,发现深度森林比其他更好。

10.思考1

技术分享图片

打破垄断。如果有DNN替代方案,那么垄断消失。

11.弱监督学习缺点

技术分享图片

技术分享图片

监督信息不完全:半监督学习、主动学习;

监督信息不具体:多示例学习、MIML

监督信息不精确:带噪学习、众包学习...

12.openAI 

技术分享图片

关于游戏模拟的,只给出部分关卡,对于未知的关卡进行比赛。

多样激励模型能自己主动去寻找,好奇心模型。

13.老师的观点

技术分享图片

对于开放环境学习:阿尔法勾是因为环境不变,也就是围棋规则不变,如果改变那是赢不了的。

现在还出现了薪工作,信息标注岗位。 

以上是关于关于ML的思考讲座-周zh-11.30日的主要内容,如果未能解决你的问题,请参考以下文章

讲座 | 11月17日 SDN软件定义网络免费沙龙讲座

专家讲座干货多 ,“深度学习”促思考——陆虹数学教师培训基地活动(十四)

听了 4 场关于互联网+创业的讲座。

讲座 | 关于“多核聚类算法”的学术报告

关于举办工程总承包管理办法解读暨EPC项目管理实践交流公益讲座的通知

对未来技术方向的思考