Spark ALS转换性能

Posted 2021-05-01

我是一个火花新手。我正在使用pyspark进行ALS推荐。装配需要几分钟，运行相当快。但是，model.transform函数需要很长时间，并且在集群中需要更多节点。

1. 我想知道我是否可以做任何优化来处理model.transform函数？
2. 下面使用的方法是什么？它只是简单的矩阵乘法吗？如果是这样，我不能使用另一个矩阵乘法库吗？

答案

是的，ALS算法的本质是矩阵乘法。首先要检查您的日志中是否有此类警告

15/06/15 11:17:36 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
15/06/15 11:17:36 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS
15/06/15 11:17:36 WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeSystemLAPACK
15/06/15 11:17:36 WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeRefLAPACK

如果你这样做 - 你应该添加外部线性代数库作为依赖。请参阅此guide