高性能计算系列之二-常见名词一

Posted 2020-11-21

高性能计算中的一些常见名词：

1. 超级计算机
   “超级计算”（supercomputing）这名词第一次出现，是在1929年《纽约世界报》关于IBM为哥伦比亚大学建造大型报表机（tabulator）的报道。
   超级计算机是计算机中功能最强、运算速度最快、存储容量最大的一类计算机，多用于国家高科技领域和尖端技术研究，是一个国家科研实力的体现，它对国家安全，经济和社会发展具有举足轻重的意义，是国家科技发展水平和综合国力的重要标志。针对超级计算机，全球每年会推出TOP500性能排行榜，中国也推出了TOP100排行榜。
   　现有的超级计算机运算速度最高每秒近20亿亿次（2018年6月）。

2. PVP
   20世纪70年代出现的向量机可以看作是第一代的高性能计算机，以Cray Research公司开发的 Cray系列计算机为代表。当时的并行向量机( Parallel VectorProcessing，PVP) 通过增加处理器个数、扩展存储器的方式不断提升计算能力，占领高性能计算市场达20年之久。其架构如图 1 所示，不过随着并行向量机处理器数目的增加，使得定制费用和维护费用越来越昂贵，性价比越来越低，已难以满足高性能计算机市场化的要求。这个类型的计算机以 CDC公司的CDC8600和CDC STAR- 100为代表。

3. SMP
   随着大规模集成电路的出现，微处理器应运而生．随着微处理器性能的不断提高，对称多处理( Symmetric Multi-Processing，SMP)计算机取代了 PVP，直接导致并行向量机退出了高性能计算市场。这种技术在IL-LIAC IV时代就开始尝试应用了。
   但是SMP计算机可扩展的处理器数目有限，加之对I /O和存储器操作的不便都限制了其发展。

4. MPP
   20世纪90年代初，大规模并行处理(MassivelyParallel Processing，MPP)成为HPC发展的方向，并以ILLIAC IV和Cray I为代表，MPP架构下多个节点间通过网络进行连接，微处理器之间通过消息传递进行通讯。如图3所示，MPP系统使用专门的网络和操作系统，而与此同时，随着个人 PC 的发展，集群出现了。

5. MPI
   Message Passing Interface是一个并行计算的API，适合超级电脑，大规模集群。
   MPV

6. Cluster集群
   集群就是由一些互相连接在一起的计算机构成的一个并行或分布式系统，从外部来看，它们仅仅是一个系统，对外提供统一的服务。集群一般用于单个电脑无法完成的高性能计算，拥有较高的性价比。在TOP500中，80%以上的超级计算机都是集群系统。
   集群是价格低廉并且方便的高性能计算方法，通过本地网络连接多台计算机来共同完成工作，集群中的计算机处于平等地位，通过相互协作完成计算。集群以较低的成本获得计算能力大幅度的提升，使高性能计算趋于平民化。集群结构如图4所示，集群获得了计算能力成倍的提高，与之相伴的就是并行与分布式计算技术。
   集群的扩展毕竟是有限的，于是人们想将互联网上尽可能多的闲置计算机资源纳入到集群中来，这样就产生了网格计算技术，网格计算是分布式计算的1 种。

7. 并行计算
   并行计算(Parallel Computing，或并行处理、平行计算)一般是指许多指令得以同时进行的计算模式。分布式计算(Distributed Computing)是一种把需要进行大量计算的工程数据分成小块，由多台计算机分别计算，上传运算结果后，将结果统一合并得出数据结论的计算模式。目前实现并行与分布式计算最常见的技术是PVM和MPI。MPI已经成为并行计算的标准。
   　　并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算。并行计算系统既可以是专门设计的、含有多个处理器的超级计算机，也可以是以某种方式互连的若干台的独立计算机构成的集群。通过并行计算集群完成数据的处理，再将处理的结果返回给用户。并行计算是相对于串行计算来说的，所谓并行计算可分为时间上的并行和空间上的并行，时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。并行计算机有以下五种访存模型：均匀访存模型(UMA)，非均匀访存模型(NUMA)，全高速缓存访存模型(COMA)，一致性高速缓存非均匀存储访问模型(CC-NUMA)，非远程存储访问模型(NORMA)。
8. 分布式计算
   　　分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。
9. 网格计算
   　　网格计算是分布式计算的一种。如果我们说某项工作是分布式的，那么，参与这项工作的一定不只是一台计算机，而是一个计算机网络，显然这种“蚂蚁搬山”的方式将具有很强的数据处理能力。网格计算的实质就是组合与共享资源并确保系统安全。
10. 科学计算
    　　科学计算即是数值计算，科学计算是指应用计算机处理科学研究和工程技术中所遇到的数学计算。在现代科学和工程技术中，经常会遇到大量复杂的数学计算问题，这些问题用一般的计算工具来解决非常困难，而用计算机来处理却非常容易。自然科学规律通常用各种类型的数学方程式表达，科学计算的目的就是寻找这些方程式的数值解。这种计算涉及庞大的运算量，简单的计算工具难以胜任。计算过程主要包括建立数学模型、建立求解的计算方法和计算机实现三个阶段。
11. 量子计算
    　　量子计算(Quantum Computing )是一种依照量子力学理论进行的新型计算，量子计算的基础和原理以及重要量子算法为在计算速度上超越图灵机模型提供了可能。其原理是量子的重叠与牵连原理产生了巨大的计算能力。普通计算机中的2位寄存器在某一时间仅能存储4个二进制数(00、01、10、11)中的一个，而量子计算机中的2位量子位(qubit)寄存器可同时存储这四个数，因为每一个量子比特可表示两个值。如果有更多量子比特的话，计算能力就呈指数级提高。
12. 数据密集型计算
    　　数据密集型计算(Data Intensive Computing)是采用数据并行方法实现大数量并行计算的应用，计算数据量级为TB或PB级，因此也被成为是大数据的核心支撑技术。由数据密集型计算产生了数据密集型科学。利用多种来源的海量时空数据中实验、分析、模拟与发现全球变化与区域可持续、均衡发展规律是当前数据密集型科学面临的研究主题。
13. 异构计算
    　　异构计算技术从80年代中期产生，由于它能经济有效地获取高性能计算能力、可扩展性好、计算资源利用率高、发展潜力巨大，目前已成为并行/分布计算领域中的研究热点之一。在异构计算系统上进行的并行计算通常称为异构计算。人们已从不同角度对异构计算进行定义，综合起来我们给出如下定义：异构计算是一种特殊形式的并行和分布式计算，它或是用能同时支持simd方式和mimd方式的单个独立计算机，或是用由高速网络互连的一组独立计算机来完成计算任务。它能协调地使用性能、结构各异地机器以满足不同的计算需求，并使代码(或代码段)能以获取最大总体性能方式来执行。
14. 大数据分析
    　　大数据(Big data)是2008年9月发表在自然杂志上一篇《大数据：PB级数据时代的科学》编辑总结文章再次成为热点。近年来互联网、移动、物联网，空间对地观测平台技术的发展，全球范围内数据与信息的处理、交换与服务业务需求这是传统的常规技术手段无法应对的，于是提出PB级大数据的概念、同时满足一致性、可用性和分区容忍性CAP定理的理论架构和技术，包括分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等。大数据特征可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、真实性(Veracity)。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的焦点。
15. 云计算
    　　云计算(Cloud computing)是由Google公司Eric Schmidt 2006年提出的，一种以数据密集型计算技术支撑的服务端的商业模式。基础是互联网络通过虚拟方式共享资源的算模式，使计算、储存、网络、软件等资源按用户的动态需要，实现为任何人、任何时间、任何地点、任何信息需求提供服务，云计算后台支撑技术是数据密集型计算技术。
16. 多核处理器
    　　多核处理器是指在一枚处理器中集成两个或多个完整的计算引擎(内核)。多核技术的开发源于工程师们认识到，仅仅提高单核芯片的速度会产生过多热量且无法带来相应的性能改善，先前的处理器产品就是如此。他们认识到，在先前产品中以那种速率，处理器产生的热量很快会超过太阳表面。即便是没有热量问题，其性价比也令人难以接受，速度稍快的处理器价格要高很多。
17. 　　摩尔定律
    　　摩尔定律是由英特尔(Intel)创始人之一戈登·摩尔(Gordon Moore)提出来的。其内容为：当价格不变时，集成电路上可容纳的晶体管数目，约每隔18个月便会增加一倍，性能也将提升一倍。换言之，每一美元所能买到的电脑性能，将每隔18个月翻一倍以上。这一定律揭示了信息技术进步的速度。尽管这种趋势已经持续了超过半个世纪，摩尔定律仍应该被认为是观测或推测，而不是一个物理或自然法。预计定律将持续到至少2015年或2020年。然而，2010年国际半导体技术发展路线图的更新增长已经放缓在2013年年底，之后的时间里晶体管数量密度预计只会每三年翻一番。
18. 内存墙
    　　内存墙，指的是内存性能严重限制CPU性能发挥的现象。在过去的20多年中，处理器的性能以每年大约55%速度快速提升，而内存性能的提升速度则只有每年10%左右。长期累积下来，不均衡的发展速度造成了当前内存的存取速度严重滞后于处理器的计算速度，内存瓶颈导致高性能处理器难以发挥出应有的功效，这对日益增长的高性能计算(High Performance Computing,HPC)形成了极大的制约。事实上，早在1994年就有科学家分析和预测了这一问题，并将这种严重阻碍处理器性能发挥的内存瓶颈命名为"内存墙"(Memory Wall)。
19. 协处理器
    　　协处理器(coprocessor)，一种芯片，用于减轻系统CPU的特定处理任务。例如，数学协处理器可以控制数字处理;图形协处理器可以处理视频绘制。