从零实现深度学习框架——学习率调整策略介绍

Posted 2023-03-21 愤怒的可乐

引言

本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。

要深入理解深度学习，从零开始创建的经验非常重要，从自己可以理解的角度出发，尽量不使用外部完备的框架前提下，实现我们想要的模型。本系列文章的宗旨就是通过这样的过程，让大家切实掌握深度学习底层实现，而不是仅做一个调包侠。

本文介绍几种常用的学习率调整策略，并包含代码实现，本节内容代码实现位置 ： https://github.com/nlp-greyfoss/metagrad/blob/master/metagrad/optim.py

神经网络优化中的挑战

我们已经了解了梯度下降法，后文还会再次总结。

图1. 只有一个参数的损失函数图像

我们先来看最简单的情况，如图1，只有一个