先列出参考资料，以后再总结：
(81 条消息)奇异值的物理意义是什么？ - 知乎 https://www.zhihu.com/question/22237507/answer/53804902
核PCA与PCA的精髓和核函数的映射实质 - CSDN博客 http://blog.csdn.net/qianhen123/article/details/40863753
(81 条消息)矩阵的奇异值与特征值有什么相似之处与区别之处？ - 知乎 https://www.zhihu.com/question/19666954
Singular Value Decomposition
1、ATA 与 AAT 这两个对称矩阵的特征值是一样的；奇异值就是那两个特征值的平方根；
2、根据第 1 点，奇异值是正数，奇异值不会出现 0 和负数；
3、对称矩阵可以对角化这件事情很重要，这是理解 SVD 的基础。
4、奇异值分解的应用：
（1）求逆矩阵的时候，变成求转置和求导数；
（2）PCA 降维的时候，往往使用奇异值分解
（3）推荐系统中使用，想一想那个小象学院那个老师讲的例子。
参考资料：
刘建平的博客：http://www.cnblogs.com/pinard/p/6251584.html
这篇知乎文章写得更多一些：https://zhuanlan.zhihu.com/p/26942334
吴恩达视频教程 奇异值分解：https://open.163.com/movie/2008/1/J/V/M6SGF6VB4_M6SGKINJV.html
1、矩阵作为线性变换的作用：转换、拉伸。
2、如果方阵对某个向量只产生伸缩，而不产生旋转效果，那么这个向量就称为矩阵的特征向量，伸缩的比例就是对应的特征值。
如果方阵对某个向量只产生伸缩，而不产生旋转效果，那么这个向量就称为矩阵的特征向量，伸缩的比例就是对应的特征值。
如果方阵对某个向量只产生伸缩，而不产生旋转效果，那么这个向量就称为矩阵的特征向量，伸缩的比例就是对应的特征值。
3、特征值分解是针对方阵而言的，奇异值分解则可以对任意型的矩阵进行分解
参考资料：漫谈奇异值分解
http://charleshm.github.io/2016/03/Singularly-Valuable-Decomposition/
维基百科：奇异值分解
https://zh.wikipedia.org/wiki/奇异值分解
奇异值分解与主成分分析
机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用
http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html
SVD分解技术详解 - 白开水加糖 - 博客园 https://www.cnblogs.com/peizhe123/p/5113357.html