Spark 1.6.0 DenseMatrix 更新值

Posted 2023-02-19

【中文标题】Spark 1.6.0 DenseMatrix 更新值

【英文标题】：Spark 1.6.0 DenseMatrix update values

【发布时间】：2016-05-15 09:06:17

【问题描述】：

Spark 1.3.1 中有 Update 方法

https://spark.apache.org/docs/1.3.1/api/java/org/apache/spark/mllib/linalg/DenseMatrix.html

但是在Spark 1.6.0中，没有Update方法

https://spark.apache.org/docs/1.6.0/api/java/org/apache/spark/mllib/linalg/DenseMatrix.html

我的想法是将大量元素存储在分布式矩阵中并对其执行操作，如何更新 DenseMatrix 中的值？

欢迎任何示例或建议！

【参考方案1】：

org.apache.spark.mllib.linalg.DenseMatrix - 不是分布式数据结构，而是本地数据结构，使用纯 Java 数组实现。如果您正在寻找可以有效更新的本地数据结构，请考虑使用Breeze 分布式矩阵 (mllib.linalg.distributed.DistributedMatrix) 与 Spark 中的其他分布式数据结构一样，是不可变的。

【讨论】：

感谢更新，我查看了文档：spark.apache.org/docs/latest/mllib-data-types.html#local-matrix，假设我使用 DenseMatrix，那么我应该如何更新它的元素。

你不应该:)理论上你可以直接修改Java数组但不要这样做。