智能算法CoCoA：大规模机器学习的分布式优化通用框架

Posted 2021-04-30 量化投资大家学

导读：

在做深度学习时，现代数据集的规模必需高效的设计和开发，而且理论上算法也要进行分布式优化。分布式系统可以实现可扩展性——不管是垂直扩展还是水平扩展，提升计算和存储能力；但同时也让算法设计者面临着一些独特的难题。其中一个尤其关键的难题是在机器学习负载的背景下，开发能有效地协调机器之间的通信的方法。对大多数生产集群而言，网络通信确实比单台工作机器上的本地内存存取要慢得多；但是，扩展单台机器显然不可行。这个问题还可以更加复杂，本地计算和远程通信之间的最优平衡取决于数据集的特定属性（比如维度、数据点的数量、稀疏度、偏度等）、分布式系统的特定属性（比如数据存储格式、分布式方案和数据存取模式等逻辑方面的设计，以及网络层次结构、带宽、计算实例规范等物理方面的条件）和负载的特定属性（比如简单的 ETL 过程肯定不同于 logistic 回归的迭代式拟合）。因此，算法设计者必须要让他们的优化/机器学习算法具有足够的灵活性，从而在保证快速收敛的前提下实现特定分布式系统的「计算-通信」的最优平衡。

相关推荐：

1、

2、

3、

注：点击阅读原文，进入量化掘金交流“源”地——量邦社区，带你一同开启量化世界的玄妙之门。若手机无法显示策略源代码， 用电脑打开可查看策略源代码，网址：bbs.quanttech.cn。