《繁凡的深度学习笔记》前言目录大纲 一文弄懂深度学习所有基础

Posted 2022-02-03 繁凡さん

《繁凡的深度学习笔记》前言、目录大纲

一文弄懂深度学习所有基础 ！

$●$ 本文《繁凡的深度学习笔记》是我自学完成深度学习相关的教材、课程、论文、项目实战等内容之后，自我总结的 学习笔记 ^q^ 写文章就图一乐！这是我写的第二本书！（第一本：《算法竞赛中的初等数论》）现在竞赛退役的我更希望先沉淀，再输出，所以更新速度相较以前会稍慢一些，但相信质量也会更高，请大家见谅。

  

$●$ 因个人时间、能力和水平有限，本文并非由我个人完全原创，文章部分内容来自个人学习过程中使用到的教材、课程、论文综述、以及各种博客，引用内容标注在每章末的参考资料之中，由我个人整理创作而成，仅做学习交流使用，无任何商业用途。之所以创作本文，是因为尽管如今互联网上已经有了很多优秀的深度学习资源，但是由于深度学习的知识体系过于庞大，学习之后很容易遗忘，人类圣经《深度学习》相对初学者而言又有些晦涩难懂，因此本文旨在使用 简明清晰、通俗易懂 的语言帮助大家构建起 全面 的深度学习 完整 知识框架，轻松学懂学会深度学习。本书对于深度学习的各个研究方向进行了详细讲解，同时各种知识拓展组成了每章的万字长文综述，也使得本文可以作为一本资料书进行使用。书中代码均使用 TensorFlow2.0 以及 Pytorch 双料实现，实用性强。如侵犯到您的合法权益，请联系我删除，非常感谢各位为知识传播做出的贡献！

  

$●$ 本文由我个人（ CSDN 博主 「繁凡さん」（博客） ， 知乎答主 「繁凡」（专栏）， Github 「fanfansann」（全部源码） ， 微信公众号 「繁凡的小岛来信」（文章 P D F 下载））整理创作而成，且仅发布于这四个平台，仅做交流学习使用，无任何商业用途。
  
$●$ 本文会随着我的深入学习不断地进行完善更新，Github 中的 P D F 版也会尽量每月进行一次更新，所以建议点赞收藏加关注，以便经常过来回看！
o(〃＾▽＾〃)o
  
$❑$ 使用到的课程与教材

• (强推) 李宏毅2021春机器学习课程（PyTouch）
  https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html

• 《TensorFlow深度学习》（龙龙老师） （TensorFlow2.0）
  https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book

• Coursera吴恩达《神经网络与深度学习》
  https://www.deeplearning.ai

• 《动手学深度学习》第二版
  https://zh-v2.d2l.ai

• 《深度学习》（花书）
  https://github.com/exacity/deeplearningbook-chinese

• 《无数的博客们、文章们与论文们》
  https://www.google.com

  

$❑$ 本文《繁凡的深度学习笔记》全汇总链接：《繁凡的深度学习笔记》前言、目录大纲

  

$❑$ Github 地址：https://github.com/fanfansann/fanfan-deep-learning-note/
孩子的第一个 『Github』！给我个 $\boxed{⭐\text{Star}}$ 嘛！谢谢！！o(〃＾▽＾〃)o

本文同步于 CSDN「繁凡さん」、知乎「繁凡」 与 微信公众号 「繁凡的小岛来信」。

更好的阅读体验！（我光排版就排了一个多小时！）

前言

  这是一本面向深度学习初学者的 深度学习笔记 。相信大家在入门深度学习的时候都有一种感觉，各种好评如潮的深度学习课程，各种深入浅出的深度学习书籍，虽然都能很容易理解，但是学完之后会有一种 “我到底学了什么” 的空虚感。特别是在你完成了大量资料的学习，想要复习的时候，需要翻阅大量博客与听课笔记、读书笔记等，很是麻烦。如果大家阅读过花书《深度学习》这类人类圣经，往往会有一种晦涩难懂的感觉。这类书籍尽管比较全面，但是并不适合完全零基础的初学者阅读。此外，深度学习课程与书籍往往会因为篇幅限制而省略掉很多知识讲解，大多内容只是一概而论，并没有深入探讨。而本书以网络博客为载体，就不会有这方面问题的限制。因此本文旨在使用 简明清晰、通俗易懂 的语言帮助大家构建起 全面 的深度学习 完整 知识框架，轻松学懂学会深度学习。本书中对于深度学习的各个研究方向进行了详细讲解，同时各种知识拓展组成了每章的万字长文综述，也使得本文可以作为一本资料书进行使用。书中代码均使用 TensorFlow2.0 以及 Pytorch 双料实现，实用性强。

本书暂时共有 18 章，分为四个部分，后期将会慢慢继续拓展，敬请期待。

第一部分 第 1 章 ~ 第 3 章 为深度学习基础认知

第 1 章 深度学习综述 学习一个新的领域最好的入门方法就是阅读一篇综述。本章通过对深度学习几十年来的发展进行简要综述，帮助大家快速对深度学习这一领域建立起一个基础的认知，搭建起大致的知识体系框架。本章综述中讲到的大多数深度学习的研究方向内容在本书中相应章节均有详细讲解，帮助大家扎实深度学习基础。

第 2 章 回归问题与神经元模型 回归问题是机器学习中较早就开始应用的学习模型，多用来预测一个具体的数值。在深度学习中，可以使用大量方法予以解决。作为深度学习入门要解决的第一个问题，本章引入对于深度学习非常重要的神经元模型，并利用神经元模型解决回归问题。最后探讨了非线性模型，并直观地展示了激活函数的作用。

第 3 章 分类问题 回归问题是对真实值的一种逼近预测，而分类问题则是为事物打上标签，得到一个离散的值。回归模型与分类模型在本质上是相同的：分类模型可将回归模型的输出离散化，回归模型也可将分类模型的输出连续化。本章通过实战引入了分类问题，详细讲解了逻辑回归、 softmax 回归以及信息论基础的相关内容，并探讨了逻辑回归与 softmax 回归的关系。

第二部分 第 4 章 ~ 第 5 章 为深度学习框架讲解

第 4 章 TensorFlow2.0从入门到升天 TensorFlow 是谷歌开源的一款深度学习框架，首发于 2015 年，采用静态图的TensorFlow1.x 尽管在性能方面较为强劲，但是由于实现以及调试方面的困难一直令人诟病。2019 年谷歌发布了TensorFlow2.0，采用动态图优先模式运行，避免 TensorFlow 1.x 版本的诸多缺陷，获得了业界的广泛认可，在工业界的部署应用最为广泛。本章从零开始讲解TensorFlow的使用、API、部署等全方位的知识，从零基础开始入门 TensorFlow2.0 直至升天。

第 5 章 PyTorch 从入门到升天 PyTorch 是 Facebook (Meta) 于 2017 年发布的一款深度学习框架，凭借其简洁优雅的设计、统一易用的接口、追风逐电的速度和变化无方的灵活性受到业界的一致好评。经过数年的发展，在学术界中逐渐占据主导地位。本章将详细讲解 PyTorch 框架的基础知识和使用方法，从零基础开始入门 Pytorch 直至升天。

第三部分 第 6 章 ~ 第 7 章 为深度学习基础

第 6 章 神经网络与反向传播算法 神经网络（Neural Network，NN），在机器学习和认知科学领域，是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。近年来人们应用深层神经网络技术在计算机视觉、自然语言处理、机器人等领域取得了重大突破，部分任务上甚至超越了人类智能水平，引领了以深层神经网络为代表的第三次人工智能复兴。而深层神经网络也有另一个名字：深度学习。反向传播算法（Backpropagation，BP），是一种与最优化方法结合使用的，用来训练人工神经网络的常见方法。本章从感知机模型出发，引入神经网络模型，并介绍了十数种常用激活函数，通过数次实战扎实基础，最后详细地全流程推导了反向传播算法。

第 7 章 过拟合、优化算法与参数优化 在深度学习实战训练中，我们往往会遇到各种问题。本章对这些问题进行总结，并给出一些训练常用技巧，引入过拟合概念并详细介绍了如何避免。通过前面的学习，我们知道深度学习训练中最常用的反向传播算法是一种与最优化方法相结合的算法，因此本章介绍了一些常用的优化算法，最后对参数优化进行了一些探讨。

第四部分 第 8 章 ~ 第 17 章 为深度学习研究方向综述

第 8 章 卷积神经网络 (CNN) 从入门到升天 卷积神经网络（Convolutional Neural Network, CNN），一种前馈神经网络，由若干卷积层和池化层组成，尤其在图像处理方面表现十分出色。卷积神经网络作为一种非常重要的主流深度学习模型，需要大家理解掌握。本章详细讲解了卷积神经网络的原理、实现、变种以及各种应用，从零基础开始入门卷积神经网络直至升天。

第 9 章 循环神经网络 (RNN) 从入门到升天 循环神经网络（Recurrent Neural Network, RNN），一类以序列数据为输入，在序列的演进方向进行递归且所有节点按链式连接的递归神经网络。其特有的循环概念及其最重要的结构 “长短时记忆网络” 使得它在处理和预测序列数据的问题上有着良好的表现。循环神经网络作为一种非常重要的主流深度学习模型，需要大家理解掌握。本章详细讲解了循环神经网络的原理、实现、变种以及各种应用，从零基础开始入门循环神经网络直至升天。

第 10 章 注意力机制与Transformer 注意力机制（Attention Mechanism），人们在机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的贡献大小。Transformer 是一种采用 self-attention 的深度学习模型，对输入数据的每个部分的重要性进行差分加权。在自然语言处理和计算机视觉领域有着非常广泛的应用。Attention Is All You Need！本章对注意力机制与 Transformer 的原理、实现、常用变种与应用进行了清晰易懂的综述详解，适合零基础入门研究学习。

第 11 章 图神经网络（万字综述） 图神经网络（Graph Neural Networks，GNN），一种基于图结构的深度学习方法，从其定义中可以看出图神经网络主要由两部分组成，即图论中的图数据结构与深度学习中的神经网络（正巧我大学在 ACM 竞赛中就专门研究图论 x ）。GNN 在处理非结构化数据时的出色能力使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破，成为各大深度学习顶会的研究热点。本章从图这一数据结构开始讲解，对图神经网络的原理、实现、常用变种与应用进行了清晰易懂的综述详解，适合零基础入门研究学习。

第 12 章 自编码器（万字综述） 自编码器（autoencoder, AE），一类在半监督学习和非监督学习中使用的人工神经网络，其功能是通过将输入信息作为学习目标，对输入信息进行表征学习。自编码器具有一般意义上表征学习算法的功能，被应用于降维和异常值检测。包含卷积层构筑的自编码器可被应用于计算机视觉问题，包括图像降噪 、神经风格迁移等。本章对自编码器的原理、实现、常用变种与应用进行了清晰易懂的综述详解，适合零基础入门研究学习。

第 13 章 生成对抗网络（万字综述） 生成对抗网络（Generative Adversarial Network，GAN），一种非监督式学习的方法，通过让两个神经网络相互博弈的方式进行学习，是近年来复杂分布上无监督学习最具前景的方法之一。GAN 在图像生成，如超分辨率任务，语义分割等方面有着非常出色的表现。本章从动漫头像生成实战入手，对生成对抗网络的训练公式以及纳什均衡进行了详细的推导证明，分析了GAN的训练难题，并给出了相应的解决办法，然后对 WGAN 的原理和实现进行了详细讲解，最后探讨了 GAN 的应用，适合零基础入门研究学习。

第 14 章 强化学习（万字综述） 强化学习（Reinforcement learning，RL），机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。强化学习是除了监督学习和非监督学习之外的第三种基本的机器学习方法。深度强化学习（Deep Reinforcement Learning，DRL）是深度学习与强化学习相结合的产物，它集成了深度学习在视觉等感知问题上强大的理解能力，以及强化学习的决策能力，实现了端到端学习。深度强化学习的出现使得强化学习技术真正走向实用，得以解决现实场景中的复杂问题。本章对强化学习的原理、实现、常用变种与应用进行了清晰易懂的综述，适合零基础入门研究学习。

第 15 章 元学习（万字综述） 元学习（Meta Learing），一种全新的机器学习方法，尝试学习如何学习。元学习的诞生可以追溯到上世纪八十年代，随着深度学习逐渐火热，元学习也回到了大众的视野当中。元学习与强化学习的结合更是借着深度学习的大潮，在各个领域扩展到了极致（例如人脸识别领域等，均可用元学习来加以强化 cross domain 的性能）。本章综述首先给出元学习相关的术语，并尝试对元学习进行一个定义，给出了一个简单示例去帮助理解元学习这一概念。按照实现方法将元学习分为了三种，并对每种方法的经典算法进行了详细的剖析。最后探讨了元学习的一些应用以及未来展望。

第 16 章 对抗攻击与防御（万字综述） 对抗攻击（Adversarial Attack），对目标机器学习模型的原输入施加轻微扰动以生成对抗样本（Adversarial Example）来欺骗目标模型的过程。在深度学习算法驱动的数据计算时代，确保算法的安全性和健壮性至关重要。研究者发现深度学习算法无法有效地处理对抗样本。这些伪造的样本对人类的判断没有太大影响，但会使深度学习模型输出意想不到的结果。自 2013 年发现这一现象以来，它引起了人工智能多个子领域研究人员的极大关注，也是我目前研究的方向。本章综述首先讲解对抗攻击的概念以及如何简单地实现对抗攻击。然后给出对抗攻击相关的术语及其定义，对第一代最简单的对抗攻击的原理及实现进行详细介绍，然后分类探讨不同的对抗攻击，接着对对抗攻击的防御进行讲解。最后尝试对对抗攻击的理论原理以及机器学习的可解释性进行简单讨论。

第 17 章 迁移学习 迁移学习（Transfer Learning），一种机器学习方法，把一个领域（即源领域）的知识，迁移到另外一个领域（即目标领域），使得目标领域能够取得更好的学习效果。在许多机器学习和数据挖掘算法中，一个重要的假设就是目前的训练数据和将来的训练数据，一定要在相同的特征空间并且具有相同的分布。然而，在许多现实的应用案例中，这个假设可能不会成立。比如，我们有时候在某个感兴趣的领域有分类任务，但是我们只有另一个感兴趣领域的足够训练数据，并且后者的数据可能处于与之前领域不同的特征空间或者遵循不同的数据分布。这类情况下，如果知识的迁移做的成功，我们将会通过避免花费大量昂贵的标记样本数据的代价，使得学习性能取得显著的提升。近年来，为了解决这类问题，迁移学习作为一个新的学习框架出现在人们面前。本章对迁移学习的原理、实现、常用变种与应用进行了清晰易懂的综述详解，适合零基础入门研究学习。

  深度学习作为国家人工智能战略发展的重要一环，是一个非常前沿且广袤的研究领域。而自古以来，我国知识分子素有 “为天地立心，为生民立命，为往圣继绝学，为万世开太平” 的志向和传统。作为新一代青年，自当立时代之潮头。笔者希望通过这份学习笔记，分享和传播更多的知识。如能帮助各位读者搭建深度学习知识体系，在自己的研究领域发光发热，那便是笔者最大的荣幸。

繁凡

2021 年 12 月 20 日

fanfansann.blog.csdn.net

zhihu.com/people/fanfansann

---

请注意：这里仅是《繁凡的深度学习笔记》的前言、目录大纲，文章的正文还未正式发布。如果对本文感兴趣想让我更新的话，可以给在点赞后移步评论区文明催更，我将视情况 （看心情 ） 进行更新 o(〃＾▽＾〃)o 同时也请给本文的 Github项目 点一个 $\boxed{⭐\text{Star}}$ ，这样我才有更新下去的动力！更新将以每章一篇文章为单位进行发布，届时将会把文章链接更新至本文目录中，点击目录对应章节标题即可进行跳转。所以也请给我一个关注，防止错过更新 ^q^

谢谢！！！

---

目录

第 1 章 深度学习综述（万字综述）
   1.1 人工智能
     1.1.1 机器学习
     1.1.2 神经网络与深度学习
    1.2 神经网络发展简史
      1.2.1 浅层神经网络
      1.2.2 深度学习
    1.3 深度学习特点
    1.4 深度学习最新进展
    1.5 深度学习方法
    1.6 深度神经网络
    1.7 深度生成模型
    1.8 训练与优化技术
    1.9 深度学习框架
      1.9.1 主流框架
      1.9.2 TensorFlow
      1.9.3 Pytorch
    1.10 深度学习应用
    1.11 参考资料
第 2 章 回归问题与神经元模型
    2.1 线性回归
      2.1.1 线性模型
    2.2 神经元模型
      2.2.1 神经元
      2.2.2 优化方法
         2.2.2.1 梯度下降算法
         2.2.2.2 最小二乘法
      2.2.3 神经元线性模型实战
    2.3 再探回归
      2.3.1 非线性模型
    2.4 面试题目集锦
    2.5 参考资料
第 3 章 分类问题 （逻辑回归、Softmax 回归、信息论基础）
    3.1 手写数字分类问题
      3.1.1 手写数字图片数据集
      3.1.2 构建模型
      3.1.3 误差计算
      3.1.4 非线性模型
      3.1.4 手写数字图片识别实战
    3.2 逻辑回归（Logistic Regression, LR）
      3.1.1 决策边界
      3.2.2 逻辑回归模型
      3.2.3 代价函数
      3.2.4 优化方法
    3.3 信息论基础
      3.3.1 信息论
      3.3.2 香农熵
      3.3.3 相对熵（KL 散度）
      3.3.4 交叉熵
      3.3.5 JS 散度
      3.3.6 Wasserstein 距离
      3.3.7 结构化概率模型
    3.4 Softmax 回归
      3.4.1 Softmax 回归模型
      3.4.2 优化方法
      3.4.3 权重衰减
      3.4.4 Fashion-MNIST 数据集图片分类实战
    3.5 Softmax 回归与逻辑回归的关系
      3.5.1 Softmax 回归与逻辑回归的关系
      3.5.2 多分类问题的 Softmax 回归与 k 个二元分类器
    3.6 面试问题集锦
    3.7 参考资料
第 4 章 TensorFlow2.0 从入门到升天
    4.1 张量
      4.1.1 数据类型
      4.1.2 待优化张量
      4.1.3 GPU 加速
      4.1.4 数值精度
      4.1.5 创建张量
      4.1.6 张量的典型应用
    4.2 数据操作
      4.2.1 索引与切片
      4.2.2 维度变换
      4.2.3 合并与分割
      4.2.4 张量比较
      4.2.5 填充与复制
      4.2.6 数据限幅
    4.3 数学运算与数据统计
    4.4 TensorFlow 基础 API
    4.5 Tensorflow keras
    4.6 Tensorflow Dataset
    4.7 Tensorflow Estimator 与 TensorFlow 1.0
    4.8 Tensorflow分布式
    4.9 Tensorflow模型保存与部署
    4.10 参考资料
第 5 章 PyTorch 从入门到升天
    5.1 张量
    5.2 数据操作
    5.3 数学运算与数据统计
    5.4 PyTorch 基础 API
    5.5 DataLoader 与 Dataset
    5.6 PyTorch 常用工具模块
    5.7 PyTorch 数据并行处理
    5.8 参考资料
第 6 章 神经网络与反向传播算法
    6.1 感知机模型与全连接层
      6.1.1 感知机模型
      6.1.2 全连接层
         6.2.2.1 TensorFlow2.0 实现
         6.2.2.2 PyTorch 实现
    6.3 神经网络
      6.3.1 TensorFlow2.0 实现
      6.2.2 PyTorch 实现
      6.3.3 优化目标
    6.4 激活函数
      6.4.1 常见激活函数
         6.4.1.1 Sigmoid 函数
         6.4.1.2 ReLU 函数
         6.4.1.3 ReLU 函数变种（LeakyReLU，RReLU，PReLU，ELU，GELU）
         6.4.1.4 Tanh 函数
         6.4.1.5 Swish 函数
         6.4.1.6 Maxout 函数
      6.4.2 梯度消失与梯度爆炸
      6.4.3 如何选择激活函数
      6.4.4 激活函数表 [6]
    6.4 输出层设计
    6.5 油耗预测实战
    6.6 Kaggle 比赛实战：预测房价
    6.7 神经网络中的梯度计算
      6.7.1 损失函数的梯度
      6.7.2 全连接层的梯度
      6.7.3 链式法则
    6.8 前向传播与反向传播
      6.8.1 前向传播算法
      6.8.2 反向传播算法
    6.9 Himmelblau 函数优化实战
      6.9.1 TensorFlow2.0 实现
      6.9.2 PyTorch 实现
    6.10 反向传播算法实战
    6.11 参考资料
第 7 章 过拟合、优化算法与参数优化
    7.1 模型的容量
    7.2 过拟合与欠拟合
      7.2.1 欠拟合
      7.2.2 过拟合
    7.3 数据集划分与模型设计
      7.3.1 验证集与超参数
      7.3.2 提前终止
      7.3.3 模型设计
    7.4 正则化
      7.4.1 范数
      7.4.2 正则化
      7.4.3 正则化效果
    7.5 Dropout
    7.6 数据增强
      7.6.1 有监督的数据增强
         7.6.1.1 几何变换方法
         7.6.1.2 颜色变换方法
      7.6.2 无监督的数据增强
         7.6.2.1 GAN
         7.6.2.2 自动数据增强 Autoaugmentation
      7.6.3 多样本数据增强方法
    7.7 过拟合问题实战
      7.7.1 构建数据集
      7.7.2 网络层数的影响
      7.7.3 Dropout 的影响
      7.7.4 正则化的影响
    7.8 常用训练技巧
    7.9 优化算法
    7.10 神经网络初始化
      7.10.1 零值初始化
      7.10.2 随机初始化
      7.10.3 Xavier 初始化
      7.10.4 He 初始化
    7.11 批归一化
      7.11.1 Internal Covariate Shift
      7.11.2 Batch Normalization
    7.12 层归一化
    7.13 面试题目集锦
第 8 章 卷积神经网络 (CNN) 从入门到升天（万字综述，清晰易懂）
    第 8 章 待更
第 9 章 循环神经网络 (RNN) 从入门到升天（万字综述，清晰易懂）
    第 9 章 待更
第 10 章 注意力机制与Transformer
    第 10 章 待更
第 11 章 图神经网络（万字综述）清晰易懂
    第 11 章 待更
第 12 章 自编码器（万字综述）清晰易懂
    第 12 章 待更
第 13 章 生成对抗网络（万字综述）清晰易懂
    13.1 GAN的通俗理解
      13.1.1 生成对抗网络
      13.1.2 GAN的训练步骤
    13.2 DCGAN实战
      13.2.1 DCGAN
      13.2.2 DCGAN动漫图片生成实战
    13.3 GAN的原理探究
      13.3.1 最大似然估计
      13.3.2 GAN训练公式推导
      13.3.3 GAN的可视化理解
    13.4 GAN 变种
      13.4.1 DCGAN
      13.4.2 InfoGAN
      13.4.3 CycleGAN
      13.4.4 WGAN
      13.4.5 Equal GAN
      13.4.6 Self-Attention GAN
      13.4.7 BigGAN
    13.5 纳什均衡
      13.5.1 纳什均衡
      13.5.2 GAN 的纳什均衡
    13.6 GAN 训练难题
      13.6.1 超参数敏感
      13.6.2 模式崩塌
      13.6.3 梯度消失问题
      13.6.4 采样计算距离问题
      13.6.5 minmax 问题
      13.6.6 参数空间与函数空间问题
    13.7 WGAN 原理
      13.7.1 JS 散度的缺陷
      13.7.2 EM 距离
      13.7.3 WGAN-GP
    13.8 WGAN-GP 实战
    13.9 GAN 的应用
      13.9.1 图像
      13.9.2 序列生成
      13.9.3 半监督学习
      13.9.4 域适应
      13.9.5 其他领域的应用
    13.10 参考资料
第 14 章 强化学习（万字综述）清晰易懂
    第 14 章 待更
第 15 章 元学习（万字综述）清晰易懂
    15.1 元学习 （Meta Learing）：Learning To Learn
    15.2 元学习名词解释
    15.3 元学习问题定义
      15.3.1 元学习形式化
      15.3.2 简单示例
      15.3.2 学习器和元学习器
      15.3.4 Meta Learning 的分类
    15.4 基于优化的方法
      15.4.1 MAML
         15.4.2.1 实战 拟合 y=asin(x+b)
         15.4.2.2 First-Order MAML
      15.4.2 Reptile
         15.4.2.1 The Optimization Assumption
         15.4.2.2 Reptile vs FOMAML
      15.4.3 LSTM Meta-Learner
    15.5 基于度量的方法
      15.5.1 Convolutional Siamese Neural Network
      15.5.2 Matching Networks
         15.5.2.1 Simple Embedding
         15.5.2.2 Full Context Embeddings
      15.5.3 Relation Network
      15.5.4 Prototypical Networks
    15.6 基于模型的方法
      15.6.1 Memory-Augmented Neural Networks
         15.6.1.1 MANN for Meta-Learning
         15.6.1.2 Addressing Mechanism for Meta-Learning
      15.6.2 Meta Networks
         15.6.2.1 Fast Weights
         15.6.2.2 Model Components
         15.6.2.3 训练过程
    15.7 元学习应用
      15.7.1 计算机视觉和图形
      15.7.2 元强化学习和机器人技术
      15.7.3 环境学习与模拟现实
      15.7.4 神经架构搜索（NAS）
      15.7.5 贝叶斯元学习
      15.7.6 无监督元学习和元学习无监督学习
      15.7.7 主动学习
      15.7.8 持续、在线和适应性学习
      15.7.9 领域适应和领域概括
      15.7.10 超参数优化
      15.7.11 新颖且生物学上可信的学习者
      15.7.12 语言和言语
      15.7.13 元学习促进社会福利
      15.7.14 抽象和合成推理
      15.7.15 系统
    15.8 未来展望
    15.9 参考资料
第 16 章 对抗攻击与防御（万字综述）清晰易懂
    第 16 章 待更
第 17 章 迁移学习
    第 17 章 待更

---

请注意：这里仅是《繁凡的深度学习笔记》的目录大纲，文章的正文还未正式发布。如果对本文感兴趣想让我更新的话，可以给在点赞后移步评论区文明催更，我将视情况 （看心情 ） 进行更新 o(〃＾▽＾〃)o 同时也请给本文的 Github项目 点一个 $\boxed{⭐\text{Star}}$ ，这样我才有更新下去的动力！更新将以每章一篇文章为单位发布，届时将在将文章链接更新至本文目录中，点击目录对应章节标题即可进行跳转。所以也请给我一个关注，防止错过更新 ^q^

谢谢！