Spark大规模机器学习的性能瓶颈和解决方案

Posted 2022-11-30 小帆的帆

• 瓶颈：

在模型的参数维度非常大时，spark的内存和网络会成为比较大的瓶颈。
在每轮训练之前，spark driver都会把模型参数广播到executor端， 每个task分区训练完本地分区数据后，会把算出的梯度或weights增量聚集到driver端对模型参数(weights)进行更新。当模型参数维度比较高时，网络广播和聚集都需要比较长的时间，也需要耗费比较多的内存，同时更新计算时间也会比较长。

• 解决方案：

采用参数服务器。参数服务器将模型参数(一维或多维数组)划成多个分区分布地存储在多个节点上， 支持并行地对模型参数进行获取、更新等操作，它具有高性能、可扩展、容错等特点。
在机器学习和深度学习中，通过使用参数服务器，每个task分区可以只获得自己需要的那部分参数，这样只需要更少的内存和网络传输。 同时参数的更新也可以并行地在所有参数服务器节点上进行，从而提高了性能。

• 原文：
  针对大规模机器/深度学习的分布式参数服务器