并行计算与分布式计算

Posted wdmx

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了并行计算与分布式计算相关的知识,希望对你有一定的参考价值。

主要内容来自维基百科

先上一张图大略直观感受一下:

技术分享图片

分布式系统是联网计算机组,其工作目标相同。术语“ 并发计算 ”,“ 并行计算 ”和“分布式计算”有很多重叠,它们之间没有明显的区别。[15]同一系统可以表征为“并行”和“分布式”; 典型分布式系统中的处理器并行运行。[16]并行计算可以被看作分布式计算的一个特定的紧密耦合的形式,[17]和分布式计算可以被视为并行计算的松散耦合形式。[7] 尽管如此,可以使用以下标准将并发系统粗略地分类为“并行”或“分布式”:

  • 在并行计算中,所有处理器可以访问共享存储器以在处理器之间交换信息。[18]
  • 在分布式计算中,每个处理器都有自己的专用内存(分布式内存)。通过在处理器之间传递消息来交换信息。[19]

右图说明了分布式系统和并行系统之间的区别。图(a)是典型分布式系统的示意图; 系统表示为网络拓扑,其中每个节点是计算机,并且连接节点的每条线是通信链路。图(b)更详细地显示了相同的分布式系统:每台计算机都有自己的本地内存,只能通过使用可用的通信链路将消息从一个节点传递到另一个节点来交换信息。图(c)显示了一个并行系统,其中每个处理器都可以直接访问共享内存。

由于并行和分布式算法的术语的传统使用与并行和分布式系统的上述定义不完全匹配,情况进一步复杂化更多详细讨论下文)。然而,根据经验,共享内存多处理器中的高性能并行计算使用并行算法,而大规模分布式系统的协调使用分布式算法。[20]

以上是关于并行计算与分布式计算的主要内容,如果未能解决你的问题,请参考以下文章

并行计算与分布式计算原理

并行计算与分布式计算原理

并行与分布式计算复习要点

并行与分布式计算之并行硬件与并行软件

GPU是并行计算,CPU是串行计算?为啥这么说?

高性能计算中的并行计算分布式计算网格计算和云计算之间的区别与联系