机器学习:PCA(使用梯度上升法求解PCA问题)

Posted volcao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习:PCA(使用梯度上升法求解PCA问题)相关的知识,希望对你有一定的参考价值。

一、目标函数的梯度求解公式

  • PCA 降维的具体实现,转变为:

  技术分享图片

  • 方案:梯度上升法优化效用函数,找到其最大值时对应的主成分 w ;
  1. 效用函数中,向量 w 是变量;
  2. 在最终要求取降维后的数据集时,w 是参数;

 

 1)推导梯度求解公式

  • 变形一

    技术分享图片

 

  • 变形二

    技术分享图片

 

  • 变形三:向量化处理

    技术分享图片

 

  • 最终的梯度求解公式:▽f = 2 / m * XT . (X . dot(w) )

    技术分享图片

 

以上是关于机器学习:PCA(使用梯度上升法求解PCA问题)的主要内容,如果未能解决你的问题,请参考以下文章

机器学习 PCA与梯度上升法 (下)

PCA与梯度上升法

PCA与梯度上升法

PCA与梯度上升法

主成分分析法

萌新向Python数据分析及数据挖掘 第三章 机器学习常用算法 第四节 PCA与梯度上升 (下)实操篇