第03课：多层感知机在结构化数据中的应用实现

Posted 2023-02-28 wangongxi

从本节课开始，我们将逐一介绍 Deeplearning4j 基于主流神经网络结构在分类、回归等机器问题上的实例应用。这一课将介绍多层感知机（MLP）在结构化数据集上构建分类和回归模型的例子。在给出具体的实例之前，先简单介绍下多层感知机的相关信息及特点。本节课核心内容包括：

• MLP 在分类问题中的应用
• MLP 在回归问题中的应用

3.1 简介

如果回顾神经网络的发展历史，早期的神经网络其实是没有隐藏层的（因此也更加谈不上什么深度神经网络或者深度学习），比如我们熟悉的感知机模型。1969 年，人工智能之父 Marvin Minsky 在其出版的《感知机》一书中以 XOR 问题为例谈到了这个浅层模型的局限性，即只能做线性的分类问题。虽然这一判断多少影响了 AI 的发展，但在另一方面上也促进了后期的包括神经网络、支持向量机等理论的不断完善。从神经网络这一分支来说，增加隐藏层以及非线性变换，成为解决感知机局限性的有效手段。此后，多层感知机逐渐进入大众的视野。

多层感知机（Multi-Layer Perceptron）或者说全连接网络（Full-Connected Network），通常是输入层、隐藏层、输出层的三层神经网络结构。相对于早期的感知机模型，隐藏层的引入（更本质的，其实是非线性变换的引入）可以不局限于线性分类问题，在理论上可以拟合任意的函数分布。MLP 中相邻两层神经元之间互相连接，网络结构清晰，易于理解。我们可以利用一些非线性激活函数（比如早期的 Sigmoid 和现在比较流行的 ReLU 等）对隐藏层输出进行非线性变换，以此提升模型抽象特征的能力。

目前神经网络的训练和预测主要依赖反向传播算法（BP 算法