|
|
定义
特征
基本体系结构
并行计算科学中主要研究的是空间上的并行问题。从程序和算法设计人员的角度来看，并行计算又可分为数据并行和
任务并行
。一般来说，因为数据并行主要是将一个大任务化解成相同的各个子任务，比
任务并行
要容易处理。
空间上的并行导致了两类并行机的产生，按照Flynn的说法分为：
单指令流多数据流
（SIMD）和多
指令流
多数据流（MIMD）。我们常用的串行机也叫做单指令流单
数据流
（SISD）。MIMD类的机器又可分为以下常见的五类：并行向量
处理机
（PVP）、
对称多处理机
（SMP）、大规模并行处理机（MPP）、工作站
机群
（COW）、分布式共享存储处理机（DSM）。
均匀访存模型（UMA）
非均匀访存模型
（NUMA）
全高速缓存访存模型（COMA）
一致性高速缓存非均匀存储访问模型（CC-NUMA）
非远程存储访问模型
（NORMA）。
并行求解过程示意图
不像串行
计算机
那样，全世界基本上都在使用冯·诺伊曼的计算模型；并行计算机没有一个统一的计算模型。不过，人们已经提出了几种有价值的参考模型：
PRAM模型
，
BSP模型
，
LogP
模型，C^3模型等。
网络设置
动态连接
基本术语
对剖宽度
:对分网络各半所必须移去的最少边数。
对剖带宽
:每秒钟内，在最小的对剖平面上通过所有连线的
最大信息位
（或字节)。
性能度量
并行计算与云计算
云计算
的萌芽应该从
计算机
的并行化开始，并行机的出现是人们不满足于CPU摩尔定率的增长速度，希望把多个计算机并联起来，从而获得更快的计算速度。这是一种很简单也很朴素的实现高速计算的方法，这种方法后来被证明是相当成功的。
并行计算、
网格计算
的提出主要是为了满足科学和技术领域的专业需要，其应用领域也基本限于科学领域。传统并行
计算机
的使用是一个相当专业的工作，需要使用者有较高的专业素质，多数是命令行的操作，这是很多专业人士的噩梦，更不用说普通的业余级用户了。
（3）并行计算追求的高性能
在并行计算的时代，人们极力追求的是高速的计算、采用昂贵的服务器，各国不惜代价在计算速度上超越他国，因此，并行计算时代的高性能
机群
是一个“快速消费品”，世界TOP500高性能
计算机
地排名不断地在刷新，一台大型机群如果在3年左右不能得到有效的利用就远远的落后了，巨额投资无法收回。
而
云计算
时代我们并不去追求使用昂贵的服务器，我们也不用去考虑TOP500的排名，云中心的计算力和存储力可随着需要逐步增加，云计算的基础架构支持这一动态增加的方式，高性能计算将在云计算时代成为“耐用消费品”。
