机器学习笔记：优化器Lion（EvoLved Sign Momentum）

Posted 2023-03-05 UQI-LIUWJ

2023 Google&UCLA

• 更省显存、效果更好的优化器
• 
  • 绿色是一样的部分，红色是Lion少的部分，蓝色是不一样的部分
  • sign是符号函数

• 相比AdamW，Lion超参数更少（没有ε），少缓存一组参数v
  • ——>更省显存
• 相比AdamW，Lion去掉了平方、除法和开根号这几个计算步骤
  • ——>更快
• 还有一点需要注意的是，Lion将动量更新的位置放在了变量参数更新之后，这也是一个亮点

 

• 局限性：Lion在小batch_size的时候，效果不如AdamW
  • ——>可能的原因是，sign本身已经带来了噪声，但是小的batch_size进一步带来的噪声
  • ——>可能在双重噪声的加持下，效果恶化

参考内容：Google新搜出的优化器Lion：效率与效果兼得的“训练狮”