大型稀疏矩阵，带火花的 svd，python

Posted 2023-03-23

【中文标题】大型稀疏矩阵，带火花的 svd，python

【英文标题】：large sparse matrix, svd with spark,python

【发布时间】：2014-10-10 08:43:45

【问题描述】：

我想在 spark 上分析数据。如果 python 不起作用，我需要 svd 矩阵来使用 python 或 scala 实现推荐算法。但数据又大又稀疏。

数据中有两列。一个是用户名，另一个是项目名称。 如果用户和项目在一行中，则表示用户喜欢该项目。 有 700k 个项目和 20k 个用户。所以它会出现内存错误。

如何处理

【参考方案1】：

我建议你在 scipy csr matrix 下加载数据。

存储稀疏矩阵比使用 numpy 高效得多。

最好的。