CosineWarmup理论与代码实战

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了CosineWarmup理论与代码实战相关的知识，希望对你有一定的参考价值。

摘要：CosineWarmup是一种非常实用的训练策略，本次教程将带领大家实现该训练策略。教程将从理论和代码实战两个方面进行。

本文分享自华为云社区《​​CosineWarmup理论介绍与代码实战​​》，作者： 李长安。

CosineWarmup是一种非常实用的训练策略，本次教程将带领大家实现该训练策略。教程将从理论和代码实战两个方面进行。

在代码实战部分，模型采用LeNet-5模型进行测试，数据采用Cifar10数据集作为基准数据，

Warmup最早出现于这篇文章中：​​Accurate, Large Minibatch SGD:Training ImageNet in 1 Hour​​，warmup类似于跑步中的热身，在刚刚开始训练的时候进行热身，使得网络逐渐熟悉数据的分布，随着训练的进行学习率慢慢变大，到了指定的轮数，再使用初始学习率进行训练。

consine learning rate则来自于这篇文章​​Bag of Tricks for Image Classification with Convolutional Neural Networks​​，通过余弦函数对学习率进行调整

一般情况下，只在前五个Epoch中使用Warmup，并且通常情况下，把warm up和consine learning rate一起使用会达到更好的效果。

  • Warmup

Warmup是在ResNet论文中提到的一种学习率预热的方法，它在训练开始的时候先选择使用一个较小的学习率，训练了一些epoches或者steps(比如4个epoches,10000steps),再修改为预先设置的学习来进行训练。由于刚开始训练时,模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率,可能带来模型的不稳定(振荡)，选择Warmup预热学习率的方式，可以使得开始训练的几个epoches或者一些steps内学习率较小,在预热的小学习率下，模型可以慢慢趋于稳定,等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快，模型效果更佳。

  • 余弦退火策略

当我们使用梯度下降算法来优化目标函数的时候，当越来越接近Loss值的全局最小值时，学习率应该变得更小来使得模型尽可能接近这一点，而余弦退火（Cosine annealing）可以通过余弦函数来降低学习率。余弦函数中随着x的增加余弦值首先缓慢下降，然后加速下降，再次缓慢下降。这种下降模式能和学习率配合，以一种十分有效的计算方式来产生很好的效果。

  • 带Warmup的余弦退火策略
  • 单个周期余弦退火衰减图形

以单个周期余弦退火衰减为例，介绍带Warmup的余弦退火策略，如下图所示，学习率首先缓慢升高，达到设定的最高值之后，通过余弦函数进行衰减调整。但是通常面对大数据集的时候，学习率可能会多次重复上述调整策略。

CosineWarmup理论与代码实战_Epoch

代码实现

from paddle.optimizer.lr import LinearWarmup
from paddle.optimizer.lr import CosineAnnealingDecay
class Cosine(CosineAnnealingDecay):
 """
    Cosine learning rate decay
 lr = 0.05 * (math.cos(epoch * (math.pi / epochs)) + 1)
 Args:
 lr(float): initial learning rate
 step_each_epoch(int): steps each epoch
        epochs(int): total training epochs
    """
 def __init__(self, lr, step_each_epoch, epochs, **kwargs):
 super(Cosine, self).__init__(
 learning_rate=lr,
 T_max=step_each_epoch * epochs, )
 self.update_specified = False
class CosineWarmup(LinearWarmup):
 """
    Cosine learning rate decay with warmup
    [0, warmup_epoch): linear warmup
    [warmup_epoch, epochs): cosine decay
 Args:
 lr(float): initial learning rate
 step_each_epoch(int): steps each epoch
        epochs(int): total training epochs
 warmup_epoch(int): epoch num of warmup
    """
 def __init__(self, lr, step_each_epoch, epochs, warmup_epoch=5, **kwargs):
 assert epochs > warmup_epoch, "total epoch() should be larger than warmup_epoch() in CosineWarmup.".format(
            epochs, warmup_epoch)
 warmup_step = warmup_epoch * step_each_epoch
 start_lr = 0.0
 end_lr = lr
 lr_sch = Cosine(lr, step_each_epoch, epochs - warmup_epoch)
 super(CosineWarmup, self).__init__(
 learning_rate=lr_sch,
 warmup_steps=warmup_step,
 start_lr=start_lr,
 end_lr=end_lr)
 self.update_specified = False

实战

import paddle
import paddle.nn.functional as F
from paddle.vision.transforms import ToTensor
from paddle import fluid
import paddle.nn as nn
print(paddle.__version__)
2.0.2
transform = ToTensor()
cifar10_train = paddle.vision.datasets.Cifar10(mode=train,
                                               transform=transform)
cifar10_test = paddle.vision.datasets.Cifar10(mode=test,
                                              transform=transform)
# 构建训练集数据加载器
train_loader = paddle.io.DataLoader(cifar10_train, batch_size=64, shuffle=True)
# 构建测试集数据加载器
test_loader = paddle.io.DataLoader(cifar10_test, batch_size=64, shuffle=True)
Cache file /home/aistudio/.cache/paddle/dataset/cifar/cifar-10-python.tar.gz not found, downloading https://dataset.bj.bcebos.com/cifar/cifar-10-python.tar.gz 
Begin to download
Download finished
class MyNet(paddle.nn.Layer):
 def __init__(self, num_classes=10):
 super(MyNet, self).__init__()
 self.conv1 = paddle.nn.Conv2D(in_channels=3, out_channels=32, kernel_size=(3, 3), stride=1, padding = 1)
 # self.pool1 = paddle.nn.MaxPool2D(kernel_size=2, stride=2)
 self.conv2 = paddle.nn.Conv2D(in_channels=32, out_channels=64, kernel_size=(3,3),  stride=2, padding = 0)
 # self.pool2 = paddle.nn.MaxPool2D(kernel_size=2, stride=2)
 self.conv3 = paddle.nn.Conv2D(in_channels=64, out_channels=64, kernel_size=(3,3), stride=2, padding = 0)
 # self.DropBlock =  DropBlock(block_size=5, keep_prob=0.9, name=le)
 self.conv4 = paddle.nn.Conv2D(in_channels=64, out_channels=64, kernel_size=(3,3), stride=2, padding = 1)
 self.flatten = paddle.nn.Flatten()
 self.linear1 = paddle.nn.Linear(in_features=1024, out_features=64)
 self.linear2 = paddle.nn.Linear(in_features=64, out_features=num_classes)
 def forward(self, x):
        x = self.conv1(x)
        x = F.relu(x)
 # x = self.pool1(x)
 # print(x.shape)
        x = self.conv2(x)
        x = F.relu(x)
 # x = self.pool2(x)
 # print(x.shape)
        x = self.conv3(x)
        x = F.relu(x)
 # print(x.shape)
 # x = self.DropBlock(x)
        x = self.conv4(x)
        x = F.relu(x)
 # print(x.shape)
        x = self.flatten(x)
        x = self.linear1(x)
        x = F.relu(x)
        x = self.linear2(x)
 return x
# 可视化模型
cnn2 = MyNet()
model2 = paddle.Model(cnn2)
model2.summary((64, 3, 32, 32))
---------------------------------------------------------------------------
 Layer (type)     Input Shape          Output Shape         Param #    
===========================================================================
   Conv2D-1 [[64, 3, 32, 32]] [64, 32, 32, 32] 896 
   Conv2D-2 [[64, 32, 32, 32]] [64, 64, 15, 15] 18,496 
   Conv2D-3 [[64, 64, 15, 15]] [64, 64, 7, 7] 36,928 
   Conv2D-4 [[64, 64, 7, 7]] [64, 64, 4, 4] 36,928 
   Flatten-1 [[64, 64, 4, 4]] [64, 1024] 0 
   Linear-1 [[64, 1024]] [64, 64] 65,600 
   Linear-2 [[64, 64]] [64, 10] 650 
===========================================================================
Total params: 159,498
Trainable params: 159,498
Non-trainable params: 0
---------------------------------------------------------------------------
Input size (MB): 0.75
Forward/backward pass size (MB): 25.60
Params size (MB): 0.61
Estimated Total Size (MB): 26.96
---------------------------------------------------------------------------
total_params: 159498, trainable_params: 159498
# 配置模型
from paddle.metric import Accuracy
scheduler = CosineWarmup(
 lr=0.5, step_each_epoch=100, epochs=8, warmup_steps=20, start_lr=0, end_lr=0.5, verbose=True)
optim = paddle.optimizer.SGD(learning_rate=scheduler, parameters=model2.parameters())
model2.prepare(
 optim,
 paddle.nn.CrossEntropyLoss(),
 Accuracy()
 )
# 模型训练与评估
model2.fit(train_loader,
 test_loader,
        epochs=10,
        verbose=1,
 )
The loss value printed in the log is the current step, and the metric is the average value of previous step.
Epoch 1/3
/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/layers/utils.py:77: DeprecationWarning: Using or importing the ABCs from collections instead of from collections.abc is deprecated, and in 3.8 it will stop working
 return (isinstance(seq, collections.Sequence) and
step 782/782 [==============================] - loss: 1.9828 - acc: 0.2280 - 106ms/step         
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 157/157 [==============================] - loss: 1.5398 - acc: 0.3646 - 35ms/step        
Eval samples: 10000
Epoch 2/3
step 782/782 [==============================] - loss: 1.7682 - acc: 0.3633 - 106ms/step         
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 157/157 [==============================] - loss: 1.7934 - acc: 0.3867 - 34ms/step        
Eval samples: 10000
Epoch 3/3
step 782/782 [==============================] - loss: 1.3394 - acc: 0.4226 - 105ms/step         
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 157/157 [==============================] - loss: 1.4539 - acc: 0.3438 - 35ms/step        
Eval samples: 10000

总结

之前一直提到这个CosineWarmup，但是一直没有实现过，这次也算是填了一个很早之前就挖的坑。同样，这里也不再设置对比实验，因为这个东西确实很管用。小模型和小数据集可能不太能够体现该训练策略的有效性。大家如果有兴趣可以使用更大的模型、更大的数据集测试一下。


​​点击关注，第一时间了解华为云新鲜技术~​​

分享《自然语言处理理论与实战》PDF及代码+唐聃+《深入浅出Python机器学习》PDF及代码+段小手+《深度学习实践:计算机视觉》PDF+缪鹏+《最优化理论与算法第2版》高清PDF+习题解答PDF+

《自然语言处理理论与实战》高清PDF，362页，带书签目录，文字可以复制；配套源代码。唐聃等著。

《大数据智能互联网时代的机器学习和自然语言处理技术》PDF，293页，带书签目录，文字可以复制，彩色配图。刘知远等著。

 下载： https://pan.baidu.com/s/1waP6C086-32_Lv0Du3BbNw 

提取码: 1ctr

 《自然语言处理理论与实战》讲述自然语言处理相关学科知识和理论基础，并介绍使用这些知识的应用和工具，以及如何在实际环境中使用它们。由于自然语言处理的特殊性，其是一门多学科交叉的学科，初学者难以把握知识的广度和宽度，对侧重点不能全面掌握。

《自然语言处理理论与实战》针对以上情况，经过科学调研分析，选择以理论结合实例的方式将内容呈现出来。其中涉及开发工具、Python语言、线性代数、概率论、统计学、语言学等工程上常用的知识介绍，然后介绍自然语言处理的核心理论和案例解析，最后通过几个综合性的例子完成自然语言处理的学习和深入。

技术图片

 技术图片

《深入浅出Python机器学习》PDF，280页，带书签目录，文字可以复制；配套源代码。

作者：段小手

下载: https://pan.baidu.com/s/1XUs-94n0qKR1F9rS8KNLHw
提取码: dv74

 《深入浅出Python机器学习》内容涵盖了有监督学习、无监督学习、模型优化、自然语言处理等机器学习领域所必须掌握的知识，从内容结构上非常注重知识的实用性和可操作性。

《深入浅出Python机器学习》采用由浅入深、循序渐进的讲授方式，完全遵循和尊重初学者对机器学习知识的认知规律。本书适合有一定程序设计语言和算法基础的读者学习使用。

技术图片

技术图片

 

《深度学习实践:计算机视觉》PDF，255页，带书签目录，文字可以复制，缪鹏 著。

下载: https://pan.baidu.com/s/1ta-xAU2BX_RlBVmwxEsIJQ 
提取码: e5f8

 《深度学习实践:计算机视觉》主要介绍了深度学习在计算机视觉方面的应用及工程实践，以Python 3为开发语言，并结合当前主流的深度学习框架进行实例展示。主要内容包括：OpenCV入门、深度学习框架介绍、图像分类、目标检测与识别、图像分割、图像搜索以及图像生成等，涉及到的深度学习框架包括PyTorch、TensorFlow、Keras、Chainer、MXNet等。通过本书，读者能够了解深度学习在计算机视觉各个方向的应用以及新进展。

技术图片

技术图片

 

《最优化理论与算法第2版》高清PDF+配套习题解答+陈宝林+《最优化理论与方法》PDF+袁亚湘

下载: https://pan.baidu.com/s/1yq1_ABCajpOvO4jADnbPZA
提取码: q2ck

《最优化理论与算法第2版》高清PDF，476页，带书签目录，文字可以复制。陈宝林 编著。
《最优化理论与算法第2版》配套习题解答PDF，225页，带目录。陈宝林 编。
《最优化理论与方法》PDF，650页，袁亚湘 著。

 《最优化理论与算法第2版》包括线性规划单纯形方法、对偶理论、灵敏度分析、运输问题、内点算法、非线性规划KT条件、无约束优化方法、约束优化方法、整数规划和动态规划等内容。

《最优化理论与算法第2版》含有大量经典的和新近的算法，有比较系统的理论分析，实用性比较强；定理的证明和算法的推导主要以数学分析和线性代数为基础，比较简单易学。
《最优化理论与算法第2版》可供应用数学工作者和工程技术人员参考。

技术图片

 

《推荐系统与深度学习》中文PDF+源代码+作者:黄昕/赵伟
下载: https://pan.baidu.com/s/1SlTlnHYiZFCGg8GtW6Rdhw 

提取码: gjec

《推荐系统与深度学习》PDF，215页，带书签目录，文字可以复制。
配套源代码。

《推荐系统与深度学习》内容设置由浅入深，从传统的推荐算法过渡到近年兴起的深度学习技术。不管是初学者，还是有一定经验的从业人员，相信都能从本书的不同章节中有所收获。

区别于其他推荐算法书籍，《推荐系统与深度学习》引入了已被实践证明效果较好的深度学习推荐技术，包括Word2Vec、Wide & Deep、DeepFM、GAN 等技术应用，并给出了相关的实践代码；除了在算法层面讲解推荐系统的实现，还从工程层面详细阐述推荐系统如何搭建。

《推荐系统与深度学习》的几位作者都在大型互联网公司从事与推荐系统相关的实践与研究，通过这本书，把推荐系统工作经验予以总结，以帮助想从事推荐系统的工作者或推荐系统爱好者。

技术图片

 

《C++ Primer第5版》中文PDF+英文PDF+习题中文解答+源代码

下载：https://pan.baidu.com/s/1EsincZjBiJahLf382ILQiQ


《C++ Primer第5版》中文PDF，864页，带书签目录，文字可以复制。
《C++ Primer第5版》英文PDF，1399页，带书签目录，文字可以复制。
《C++ Primer第5版》习题解答中文版，包含所有章节练习和解答。
配套《C++ Primer第5版》源代码。

《C++ Primer第5版》是久负盛名的 C++经典教程。《C++ Primer 中文版(第5版)》总共19章内容，所有示例均全部采用 C++11 标准改写，这在经典升级版中极其罕见——充分体现了 C++ 语言的重大进展及其全面实践。书中丰富的教学辅助内容、醒目的知识点提示，以及精心组织的编程示范，让这本书在 C++ 领域的权威地位更加不可动摇。无论是初学者入门，或是中、高级程序员提升，本书均为不容置疑的首选

技术图片

 

《Vue企业开发实战(肖睿)》中文PDF及代码+《Vue.js快速入门(申思维)》中文PDF及代码

下载：https://pan.baidu.com/s/1kYeRUlOexVUBwvdy2B-u4g

 

《线性代数及其应用》中文PDF(第4版)+英文PDF(第5版)+习题指导

下载：https://pan.baidu.com/s/1qhw3Gv_79xtL6l2hShU0ew

 

《行为科学统计第七版》中文PDF+勘误PDF+第十版英文PDF

下载: https://pan.baidu.com/s/15LmwX7yziEOxBpnOO89T2g

提取码: u9xk

 

相关学习资料

下载：https://pan.baidu.com/s/1NyTWlzndnRG9rX2C-W55aw

提取码: 37gs

 

以上是关于CosineWarmup理论与代码实战的主要内容，如果未能解决你的问题，请参考以下文章

机器学习实战应用案例100篇-正余弦优化算法从原理到实战应用案例

机器学习实战应用案例100篇-正余弦优化算法从原理到实战应用案例

R语言使用lsa包计算余弦相似度（Cosine Similarity）实战：两个向量的余弦相似度矩阵的余弦相度

分享《自然语言处理理论与实战》PDF及代码+唐聃+《深入浅出Python机器学习》PDF及代码+段小手+《深度学习实践:计算机视觉》PDF+缪鹏+《最优化理论与算法第2版》高清PDF+习题解答PDF+

5.8. tensorflow2实现SVD推荐系统——python实战 (下篇)

BetaFlight深入传感设计之五：MahonyAHRS & 方向余弦矩阵理论