并行计算与分布式计算

Posted 2021-02-01 wdmx

主要内容来自维基百科

先上一张图大略直观感受一下：

分布式系统是联网计算机组，其工作目标相同。术语“ 并发计算 ”，“ 并行计算 ”和“分布式计算”有很多重叠，它们之间没有明显的区别。^[15]同一系统可以表征为“并行”和“分布式”; 典型分布式系统中的处理器并行运行。^[16]并行计算可以被看作分布式计算的一个特定的紧密耦合的形式，^[17]和分布式计算可以被视为并行计算的松散耦合形式。^[7] 尽管如此，可以使用以下标准将并发系统粗略地分类为“并行”或“分布式”：

• 在并行计算中，所有处理器可以访问共享存储器以在处理器之间交换信息。^[18]
• 在分布式计算中，每个处理器都有自己的专用内存（分布式内存）。通过在处理器之间传递消息来交换信息。^[19]

右图说明了分布式系统和并行系统之间的区别。图（a）是典型分布式系统的示意图; 系统表示为网络拓扑，其中每个节点是计算机，并且连接节点的每条线是通信链路。图（b）更详细地显示了相同的分布式系统：每台计算机都有自己的本地内存，只能通过使用可用的通信链路将消息从一个节点传递到另一个节点来交换信息。图（c）显示了一个并行系统，其中每个处理器都可以直接访问共享内存。

由于并行和分布式算法的术语的传统使用与并行和分布式系统的上述定义不完全匹配，情况进一步复杂化（更多详细讨论见下文）。然而，根据经验，共享内存多处理器中的高性能并行计算使用并行算法，而大规模分布式系统的协调使用分布式算法。^[20]