RS?2 和 ?1正则的随机 PCA

Posted shenxiaolin

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了RS?2 和 ?1正则的随机 PCA相关的知识,希望对你有一定的参考价值。

【论文标题】 Stochastic PCA with ?2 and ?1 Regularization   (ICML 2018)

【论文作者】—Poorya Mianjy  (Johns Hopkins University ),Raman Arora (Johns Hopkins University )

【论文链接】Paper (9-pages // Double column)

 

 

【摘要】

  (本文)我们重新讨论了基于凸松弛的主成分分析随机优化方法。

 

  直接求解非凸问题的方法已被证明具有最优的统计效益和计算效率。

 

  而基于凸松弛的方法已经被证明其实验性能可以比得上前者,甚至比前者更优越。——这激励我们需要更深层次的正式的(规范地)对后者进行理解。

 

  因此,本文研究了凸松弛PCA的 (a)?2 正则 (b) ?1正则和(c)弹性网?1 + ?2)正则的随机梯度下降变体,希望这些变体能够分别产生(a)更好的迭代复杂性,(b)更好地控制中间迭代的秩,和(c)两者的结合。

 

  我们从理论和实验上表明,与以往基于凸松弛的方法相比,我们所提出的变体产生了更快的收敛速度,并改进了总体运行时间,从而在PCA目标上实现了用户指定的 次最优

 

  此外,我们进一步证明了所提方法在主成分分析目标和子空间距离上的收敛性。然而,与现有的非凸方法相比,我们所提出的方法在计算要求上仍然存有一定差距。

 

 

 

 

以上是关于RS?2 和 ?1正则的随机 PCA的主要内容,如果未能解决你的问题,请参考以下文章

随机过程19 - 随机过程的线性预测问题

随机过程19 - 随机过程的线性预测问题

吴恩达《机器学习》课程总结正则化

随机过程19 - 随机过程的线性预测问题

使用正则表达式的 Spring 请求映射,如 javax.ws.rs

用括号替换它们的正则表达式