All Reduce算法汇总
Posted yangwenhuan
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了All Reduce算法汇总相关的知识，希望对你有一定的参考价值。
1、朴素All Reduce
假设两两GPU间的网络带宽为1GB/s，weight数据量1GB，那么broadcast（下图中的Receive）的通信时间
参考链接
1）Baidu All Reduce：
https://github.com/baidu-research/baidu-allreduce
2）Horovod：
https://arxiv.org/pdf/1802.05799.pdf
以上是关于All Reduce算法汇总的主要内容，如果未能解决你的问题，请参考以下文章