多GPU真的能加速吗？
Posted mimandehuanxue
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了多GPU真的能加速吗？相关的知识，希望对你有一定的参考价值。
一、实验
采用keras的multi_gpu_model函数注释中的示例代码
经过实验发现，当batch_size=4的时候，2GPU速度为30s/epoch，4GPU速度为36s/epoch。速度反而下降了
当batch_size=32时，2GPU速度为10s/epoch，4GPU速度为8s/epoch，速度1.25倍
当batch_size=64时，2GPU速度为9s/epoch，4GPU速度为6s/epoch，速度1.5倍
二、结论
多GPU模式存在通信开销，batch_size越大，GPU计算开销所占比例越大，通信开销所占比例越小，多GPU的速度提高越接近准线性
以上是关于多GPU真的能加速吗？的主要内容，如果未能解决你的问题，请参考以下文章