第04课：自编码器在数据压缩中的应用实现

Posted 2022-11-26 wangongxi

本节课我们将介绍如何使用神经网络对数据进行降维和特征提取，主要采用的方案是基于自监督学习的 AutoEncoder。本节课核心内容包括：

• 降噪自编码器（DAE）
• 基于深度信念网络的自编码器
• 变分自编码器

自编码器的用途比较广泛，比如：数据的压缩、检索、高效传输、深层网络的预训练等。由于 AutoEncoder 的具体实现方式很多，限于篇幅，我们介绍最常用的三种自编码器：变分自编码器、降噪自编码器、基于深度信念网络的自编码器。

其实抛开上述的这些具体实现，在理想情况下，自编码器的输出和输入是一致的。换句话说，通过压缩数据获取更为抽象的特征后，我们希望用这些更为抽象，同时也更为简洁的特征来表示原数据的分布。

这次我们使用的数据集是手写体数字 MNIST 数据集（http://yann.lecun.com/exdb/mnist/）。

MNIST 数据集是 28*28 的灰度图，由 60000 张训练图片和 10000 张验证图片构成，是入门深度学习最常用的开源数据集之一。MNIST 数据集的内容是 0~9 的手写的数字。下面的截图即是部分的 MNIST 数据集：

4.1 降噪自编码器（DAE）

先介绍 DAE 之前，我们可以试想下如何基于上节课介绍的多层感知机构建自编码器。由于自编码器的特点是输入和输出的维度一