DNN原理探究系列之目录与序章篇

Posted 2020-10-14 武松数到五

• 序言：

神经网络结构，作为最成功的机器学习模型之一，其工作原理一直被埋藏得比较深，其解释性以至于被称为黑盒。

自己对于DNN的理解也只能算刚踏入了门槛，对于人脑的原理与DNN原理之间的互通性，一直是非常深信的，所以想一窥DNN成功背后的数学原理。

通过DNN原理探究系列博文，希望能总结归纳已经理解的知识点，梳理清楚知识点之间的关系结构，同时探讨各种流派对于DNN原理的解读。

目录会随着自己掌握的知识量逐渐扩展新的分支，以此记录自己的学习历程。

 

• 当前知识结构树（2017-11-11）

DNN结构与原理（神经元 + 权重 +非线激活）：

 

结构的作用：

激活响应区域Partition，拟合任意函数

向量空间的变换Transformation

向量空间变换技巧：核方法

 

训练和结构参数的影响与作用：

SGD与收敛速度

信息瓶颈理论：

隐层马尔科夫链的信息表述

信息压缩的必要性

信息压缩的方法

 

分类器原理（softmax）：

最大熵与玻尔兹曼分布

最大熵与最大似然的关联

能量模型