FTRL(Follow The Regularized Leader)学习总结

Posted 2020-10-31 arachis

摘要：

　　1.算法概述

　　2.算法要点与推导

　　3.算法特性及优缺点

　　4.注意事项

　　5.实现和具体例子

　　6.适用场合

内容：

　　1.算法概述

　　FTRL是一种适用于处理超大规模数据的,含大量稀疏特征的在线学习的常见优化算法，方便实用，而且效果很好，常用于更新在线的CTR预估模型；

　　FTRL算法兼顾了FOBOS和RDA两种算法的优势，既能同FOBOS保证比较高的精度，又能在损失一定精度的情况下产生更好的稀疏性。

　　FTRL在处理带非光滑正则项（如L1正则）的凸优化问题上表现非常出色，不仅可以通过L1正则控制模型的稀疏度，而且收敛速度快；

　　2.算法要点与推导

　　

　　3.算法特性及优缺点

　　 算法特点：

　　　在线学习，实时性高；可以处理大规模稀疏数据；有大规模模型参数训练能力；根据不同的特征特征学习率

　　 缺点：

　　　　　

　　4.注意事项

　　5.实现和具体例子

　　　　FTRL处理“Springleaf Marketing Response”数据

　　　　Spark Streaming on Angel FTRL

　　6.适用场合

　　　　点击率模型