哈尔滨工业大学计算机科学与技术学院 1
并行处理与体系结构
哈尔滨工业大学计算机科学与技术学院 2
第 3章 性能指标和基准程序
??1 系统和应用的基准程序
??2 性能和成本
??3 基本性能指标
??4 并行计算机性能
??5 并行程序性能
??6 可扩展性和加速比分析
哈尔滨工业大学计算机科学与技术学院 3
?6 可扩展性和加速比分析
?本节将讨论,
?基于 3种加速比指标；
?引入 3种性能模型。
哈尔滨工业大学计算机科学与技术学院 4
? 描述说明,
① n是并行系统中处理器数；
② W是问题规模 (计算负载、工作负载，它
定义为给定问题的总计算量 )；
③ Ws,Wp, Ws=W1 ；
④ ?--串行分量比例,?=Ws/W； 1-?为并行
分量比例；
⑤ Ts=T1为串行执行时间,Tp为并行执行时
间；
⑥ S为加速 (比 )； E为效率。
哈尔滨工业大学计算机科学与技术学院 5
?一,Amdahl定律,
?特点：固定问题规模，原因多种
?描述,
哈尔滨工业大学计算机科学与技术学院 6
另一种表示,
说明,①②③
哈尔滨工业大学计算机科学与技术学院 7
哈尔滨工业大学计算机科学与技术学院 8
哈尔滨工业大学计算机科学与技术学院 9
哈尔滨工业大学计算机科学与技术学院 10
? 实际上，并行加速不仅受限于程序的
串行分量，而且也受并行程序运行时
的额外开销影响。
? 令 T0为额外开销（与 n相关）。
哈尔滨工业大学计算机科学与技术学院 11
? 例,并行 APT执行的加速比上限 考察并行
APT程序的图。在以下的条件下估计
Amdahl加速比上限,(1)不计所有开销；
(2)考虑所有开销,并假设 T0(∞ )=T0(256)
? 解,
? (1)当忽略所有开销时,工作负载等于
W=14,37s
? 顺序成分是 HT步,说明,
α =0.04／ 14,37=0,278％。
? 根据 Amdahl定律，加速比的上限为,
1／ α =359。
哈尔滨工业大学计算机科学与技术学院 12
? (2)由方程式可知,
? T0(256)=0,0479s。故平均开销为,
T0∞ ／ W=0,0479／ 14,37=0,00333
? 根据方程式，该加速比有一个较严格的
上限值,
1／ (0,00278+0,00333)=163
哈尔滨工业大学计算机科学与技术学院 13
?二,Gustafson定律：固定时间
?John Gustafson(1988年 )提出了固
定时间的概念。
① 对于很多大型应用计算，精度是关
键，而 计算时间是固定不变 的。
为了提高精度，必须加大计算量，
增多处理器数，才能维持时间不变；
哈尔滨工业大学计算机科学与技术学院 14
?② 在实际应用中，没有必要固
定工作负载，而计算程序运行
在不同数目的处理器上，增多
处理器必须相应地增大问题规
模，才有实际意义。
哈尔滨工业大学计算机科学与技术学院 15
哈尔滨工业大学计算机科学与技术学院 16
哈尔滨工业大学计算机科学与技术学院 17
哈尔滨工业大学计算机科学与技术学院 18
哈尔滨工业大学计算机科学与技术学院 19
?当考虑到并行程序运行时的额外
开销 W0，应修改为,
哈尔滨工业大学计算机科学与技术学院 20
?三,Sun和 Ni定律：存储受限
?Xian-HeSun(孙贤和 )和 LionelNi于
1993年将 Amdahl定律和 Gustafson定
律一般化，提出了存储受限的加速定
律。
? 基本思想：只要存储空间许可，应尽
量增大问题规模，以产生更好和更精
确的解 (此时可能使执行时间略有增
加 )。
哈尔滨工业大学计算机科学与技术学院 21
?给定一个存储受限问题，假定在
单节点上使用了全部存储容量 M，
并在相应于 W的时间内求解完毕。
?此时工作负载 W=αW+(1-α)W；
哈尔滨工业大学计算机科学与技术学院 22
? 在 n个节点的并行系统上，能够求解
较大规模的问题是因为存储容量可
增加 nM。
? 令因子 G(n)反应存储容量增加到 P倍
时工作负载的增加量，扩大后的工
作负载,
W=αW+(1-α)G(n)W
哈尔滨工业大学计算机科学与技术学院 23
?存储受限的加速公式相应为,
哈尔滨工业大学计算机科学与技术学院 24
哈尔滨工业大学计算机科学与技术学院 25
哈尔滨工业大学计算机科学与技术学院 26
?当考虑到并行程序运行时的额外
开销 T0，应修改为,
哈尔滨工业大学计算机科学与技术学院 27
? G(n)=1时，它变为 Amdahl加速定
律,
? 当 G(n)=n时，它变为 Gustafson加速
定律,
S”=α+n(1-α)
哈尔滨工业大学计算机科学与技术学院 28
?当 G(n)>n时，它相应于计算机负
载比存储要求增加得快 ;
?此时 Sun和 Ni加速均比 Amdahl加速
和 Gustafson加速为高。
哈尔滨工业大学计算机科学与技术学院 29
?本章总结,
?重点讨论了计算机系统的性能评
价问题,
?系统和应用的基准程序,性能
和成本、基本性能指标、并行计
算机性能、并行程序性能和可扩
展性和加速比分析
并行处理与体系结构
哈尔滨工业大学计算机科学与技术学院 2
第 3章 性能指标和基准程序
??1 系统和应用的基准程序
??2 性能和成本
??3 基本性能指标
??4 并行计算机性能
??5 并行程序性能
??6 可扩展性和加速比分析
哈尔滨工业大学计算机科学与技术学院 3
?6 可扩展性和加速比分析
?本节将讨论,
?基于 3种加速比指标；
?引入 3种性能模型。
哈尔滨工业大学计算机科学与技术学院 4
? 描述说明,
① n是并行系统中处理器数；
② W是问题规模 (计算负载、工作负载，它
定义为给定问题的总计算量 )；
③ Ws,Wp, Ws=W1 ；
④ ?--串行分量比例,?=Ws/W； 1-?为并行
分量比例；
⑤ Ts=T1为串行执行时间,Tp为并行执行时
间；
⑥ S为加速 (比 )； E为效率。
哈尔滨工业大学计算机科学与技术学院 5
?一,Amdahl定律,
?特点：固定问题规模，原因多种
?描述,
哈尔滨工业大学计算机科学与技术学院 6
另一种表示,
说明,①②③
哈尔滨工业大学计算机科学与技术学院 7
哈尔滨工业大学计算机科学与技术学院 8
哈尔滨工业大学计算机科学与技术学院 9
哈尔滨工业大学计算机科学与技术学院 10
? 实际上，并行加速不仅受限于程序的
串行分量，而且也受并行程序运行时
的额外开销影响。
? 令 T0为额外开销（与 n相关）。
哈尔滨工业大学计算机科学与技术学院 11
? 例,并行 APT执行的加速比上限 考察并行
APT程序的图。在以下的条件下估计
Amdahl加速比上限,(1)不计所有开销；
(2)考虑所有开销,并假设 T0(∞ )=T0(256)
? 解,
? (1)当忽略所有开销时,工作负载等于
W=14,37s
? 顺序成分是 HT步,说明,
α =0.04／ 14,37=0,278％。
? 根据 Amdahl定律，加速比的上限为,
1／ α =359。
哈尔滨工业大学计算机科学与技术学院 12
? (2)由方程式可知,
? T0(256)=0,0479s。故平均开销为,
T0∞ ／ W=0,0479／ 14,37=0,00333
? 根据方程式，该加速比有一个较严格的
上限值,
1／ (0,00278+0,00333)=163
哈尔滨工业大学计算机科学与技术学院 13
?二,Gustafson定律：固定时间
?John Gustafson(1988年 )提出了固
定时间的概念。
① 对于很多大型应用计算，精度是关
键，而 计算时间是固定不变 的。
为了提高精度，必须加大计算量，
增多处理器数，才能维持时间不变；
哈尔滨工业大学计算机科学与技术学院 14
?② 在实际应用中，没有必要固
定工作负载，而计算程序运行
在不同数目的处理器上，增多
处理器必须相应地增大问题规
模，才有实际意义。
哈尔滨工业大学计算机科学与技术学院 15
哈尔滨工业大学计算机科学与技术学院 16
哈尔滨工业大学计算机科学与技术学院 17
哈尔滨工业大学计算机科学与技术学院 18
哈尔滨工业大学计算机科学与技术学院 19
?当考虑到并行程序运行时的额外
开销 W0，应修改为,
哈尔滨工业大学计算机科学与技术学院 20
?三,Sun和 Ni定律：存储受限
?Xian-HeSun(孙贤和 )和 LionelNi于
1993年将 Amdahl定律和 Gustafson定
律一般化，提出了存储受限的加速定
律。
? 基本思想：只要存储空间许可，应尽
量增大问题规模，以产生更好和更精
确的解 (此时可能使执行时间略有增
加 )。
哈尔滨工业大学计算机科学与技术学院 21
?给定一个存储受限问题，假定在
单节点上使用了全部存储容量 M，
并在相应于 W的时间内求解完毕。
?此时工作负载 W=αW+(1-α)W；
哈尔滨工业大学计算机科学与技术学院 22
? 在 n个节点的并行系统上，能够求解
较大规模的问题是因为存储容量可
增加 nM。
? 令因子 G(n)反应存储容量增加到 P倍
时工作负载的增加量，扩大后的工
作负载,
W=αW+(1-α)G(n)W
哈尔滨工业大学计算机科学与技术学院 23
?存储受限的加速公式相应为,
哈尔滨工业大学计算机科学与技术学院 24
哈尔滨工业大学计算机科学与技术学院 25
哈尔滨工业大学计算机科学与技术学院 26
?当考虑到并行程序运行时的额外
开销 T0，应修改为,
哈尔滨工业大学计算机科学与技术学院 27
? G(n)=1时，它变为 Amdahl加速定
律,
? 当 G(n)=n时，它变为 Gustafson加速
定律,
S”=α+n(1-α)
哈尔滨工业大学计算机科学与技术学院 28
?当 G(n)>n时，它相应于计算机负
载比存储要求增加得快 ;
?此时 Sun和 Ni加速均比 Amdahl加速
和 Gustafson加速为高。
哈尔滨工业大学计算机科学与技术学院 29
?本章总结,
?重点讨论了计算机系统的性能评
价问题,
?系统和应用的基准程序,性能
和成本、基本性能指标、并行计
算机性能、并行程序性能和可扩
展性和加速比分析
