[笔记]FTRL与Online Optimization
Posted 笨兔勿应
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[笔记]FTRL与Online Optimization相关的知识，希望对你有一定的参考价值。
1. 背景介绍
最优化求解问题可能是我们在工作中遇到的最多的一类问题了：从已有的数据中提炼出最适合的模型参数，从而对未知的数据进行预测。当我们面对高维高数据量的场景时，常见的批量处理的方式已经显得力不从心，需要有在线处理的方法来解决此类问题。
在CTR预估中，经常会用到经典的逻辑回归（LR），而对LR的各维度参数进行估计的时候会用到最优化算法，常见的比如梯度下降（Gradient Descent），牛顿法等等，这些方法都属于批量处理算法（Batch），当面对高维高数据量的场景时就显得有些笨重，因为在每次迭代中都需要对所有样本，所有维度进行计算，这个计算量是相当大的。所以，就需要引入在线最优化求解方法了，同时，在线最优化算法考虑最多的是计算得到的模型的稀疏性。目前所知相对最好的在线最优化算法是FTRL。而至于FTRL的由来，则是与其它几个算法（如FOBOS，RDA等）有关，所以这篇博客首先介绍一下FTRL及其相关的几个算法的来龙去脉和联系，然后再针对FTRL算法的具体实现问题进行探讨。
2. L1正则化法
L1正则化法很简单，在GD，SGD，OGD中都会用到，其对权重的更新方式如下：
但是，在线计算的每次迭代过程中，仅仅靠几个float类型的数相加，是很难得到0的，所以说很难得到稀疏解。
3. 简单截断法
为了得到稀疏的特征权重
以上是关于[笔记]FTRL与Online Optimization的主要内容，如果未能解决你的问题，请参考以下文章
Online learning系列：从RDAFOBOS到FTRL
FTRL(Follow The Regularized Leader)学习总结
Error: webpack.optimize.UglifyJsPlugin has been removed, please use config.optimizat
Online Continual Learning with Maximally Interfered Retrieval---阅读笔记