第 11章 并 行 处 理本章主要内容：
本章讲述并行处理及 SIMD并行处理计算机 。 介绍共享存储和分布式存储处理机的结构,典型的并行算法等 。 以典型的
SIMD处理机为例,深入讲述处理机内部结构 。 最后讲述 SIMD计算机应用领域和阵列处理机算法 。 学习时重点掌握并行处理的有关概念与处理方式,阵列算法等 。
11.1 并行处理的概念
11.2 并行处理机基本结构
11.3 SIMD计算机基本结构
11.4 SIMD计算机的应用
11.1 并行处理的概念
11.1.1 并行性
并行性有两个含义：一是同时性
（ Simultaneity），是指两个或多个事件在同一时刻发生在多个资源中；二是并发性（ Concurrency），指两个或多个事件在同一时间间隔内发生在多个资源中。
11.1.2 并行性的等级和分类
1,从计算机信息加工的各个步骤和阶段的角度,并行性等级可分为如下 4种 。
（ 1） 存储器操作并行性 。
（ 2） 处理器操作步骤并行 。
（ 3） 处理器操作并行 。
（ 4） 指令,任务,作业的并行 。
2,从系统结构发展来看,并行性可分为如下 4种 。
3,程序划分和并行粒度 。
并行粒度和通信时延密切相关,用以下公式表示 （ 假设系统有 P个处理器 ）
G=Tw/Tc
（ 1）指令级
（ 2）循环级
（ 3）子任务级
（ 4）任务级
（ 5）作业（程序）级
11.2 并行处理机基本结构
11.2.1 并行处理机的典型结构图 11-2 共享存储器的并行处理机结构图互连网络（ I C N ）
M 0 M 1 M m - 1
PE 0 PE 1 PE n - 1
CU
…
…
PEM
n - 1
互连网络（ ICN ）
PE
0
PE
1
PE
n - 1
PEM
0
PEM
1
CU
…
…
图 11-3 分布存储器的并行处理机结构图
11.2.2 并行处理机的特点
1．并行处理机依靠的并行措施主要是资源重复，而不像向量机是时间的重叠。
2．并行处理机使用的多处理单元通过互连网络连接在一起。
11.3 SIMD计算机基本结构
11.3.1 Illiac IV计算机图 11-4 Illiac IV的系统结构框图
48
48
48
48
128
1024
256 256
I /O 总线 1 0 2 4
C PU 总线控制 线 64 CDB 模式位线
64 × 8
PE 63
PEM 63
控制单元 CU
PE 0 PE 1 PE 63
PEM 0 PEM 1
CDC B 6 7 0 0
C PU
内存 B 6 7 0 0
多路开关
B I O M
B 6 7 0 0
外围设备激光存储器
A R P A 网接口
I O S
实时装置
PE 0
…
1,Illiac IV处理阵列
2,阵列控制器
（ 1） CU总线。
（ 2）公共数据总线 CDB（ Common Data
Bus）。
（ 3）模式位线（ Mode Bit Line,MBL）。
（ 4）指令控制线。
3,输入输出系统
输 入 输 出 开 关 IOS （ Input Output
Switch ）,控 制 描 述 字 控 制 器 CDC
（ Control Description Word Controller）
和输入输出缓冲存储器 BIOM（ Buffer of
Input and Output Memory） 。
IOS有两个功能，一是开关功能 ;二是作为 DFS和 PEM之间的缓冲，
11.3.2 Burroughs BSP计算机图 11-7 BSP科学处理机系统组成文件存储器 CCD
4 ～ 64M B
文件存储器控制器
100M bit/s
100M bit/s
12.5M bit/s
操作系统和维护信息程序和数据
250K bit/s
文件存储系统并行处理机 控制处理机系统管理机
B7 70 0/B7 80 0
并行存储器
0.5 ～ 8M B
入口和出口对准网络
16 个算术单元并行处理机控制器指令 / 控制存储器
256K B
控制维护单元标量处理单元
1,BSP处理机的组成
2,并行存储器
BSP存储器的一个独特的性能是它可以实现 16个单元的无冲突访问。
3,BSP的数据流水线结构图 11-9 BSP数据流水线结构
16 个处理单元
17 个存储体处理器指令译码控制部件存储器出口对准网络 入口对准网络
11.3.3 CM-2计算机
1,处理机阵列
可以包含 4～ 64KB处理器。
2,寻径器,NEWS网格和扫描机构
（ 1） 寻径器
（ 2） NEWS网格
（ 3） 扫描机构
3,输入输出系统
11.4 SIMD计算机的应用
11.4.1 连续模型及差分计算
连续模型和离散模型 （ 又称为粒子模型 ） 。
连续和离散两种模型在计算时呈现不同的特性。
11.4.2 阵列处理机的几种基本算法
1,矩阵加
2,矩阵乘
3,累计和
本章讲述并行处理及 SIMD并行处理计算机 。 介绍共享存储和分布式存储处理机的结构,典型的并行算法等 。 以典型的
SIMD处理机为例,深入讲述处理机内部结构 。 最后讲述 SIMD计算机应用领域和阵列处理机算法 。 学习时重点掌握并行处理的有关概念与处理方式,阵列算法等 。
11.1 并行处理的概念
11.2 并行处理机基本结构
11.3 SIMD计算机基本结构
11.4 SIMD计算机的应用
11.1 并行处理的概念
11.1.1 并行性
并行性有两个含义：一是同时性
（ Simultaneity），是指两个或多个事件在同一时刻发生在多个资源中；二是并发性（ Concurrency），指两个或多个事件在同一时间间隔内发生在多个资源中。
11.1.2 并行性的等级和分类
1,从计算机信息加工的各个步骤和阶段的角度,并行性等级可分为如下 4种 。
（ 1） 存储器操作并行性 。
（ 2） 处理器操作步骤并行 。
（ 3） 处理器操作并行 。
（ 4） 指令,任务,作业的并行 。
2,从系统结构发展来看,并行性可分为如下 4种 。
3,程序划分和并行粒度 。
并行粒度和通信时延密切相关,用以下公式表示 （ 假设系统有 P个处理器 ）
G=Tw/Tc
（ 1）指令级
（ 2）循环级
（ 3）子任务级
（ 4）任务级
（ 5）作业（程序）级
11.2 并行处理机基本结构
11.2.1 并行处理机的典型结构图 11-2 共享存储器的并行处理机结构图互连网络（ I C N ）
M 0 M 1 M m - 1
PE 0 PE 1 PE n - 1
CU
…
…
PEM
n - 1
互连网络（ ICN ）
PE
0
PE
1
PE
n - 1
PEM
0
PEM
1
CU
…
…
图 11-3 分布存储器的并行处理机结构图
11.2.2 并行处理机的特点
1．并行处理机依靠的并行措施主要是资源重复，而不像向量机是时间的重叠。
2．并行处理机使用的多处理单元通过互连网络连接在一起。
11.3 SIMD计算机基本结构
11.3.1 Illiac IV计算机图 11-4 Illiac IV的系统结构框图
48
48
48
48
128
1024
256 256
I /O 总线 1 0 2 4
C PU 总线控制 线 64 CDB 模式位线
64 × 8
PE 63
PEM 63
控制单元 CU
PE 0 PE 1 PE 63
PEM 0 PEM 1
CDC B 6 7 0 0
C PU
内存 B 6 7 0 0
多路开关
B I O M
B 6 7 0 0
外围设备激光存储器
A R P A 网接口
I O S
实时装置
PE 0
…
1,Illiac IV处理阵列
2,阵列控制器
（ 1） CU总线。
（ 2）公共数据总线 CDB（ Common Data
Bus）。
（ 3）模式位线（ Mode Bit Line,MBL）。
（ 4）指令控制线。
3,输入输出系统
输 入 输 出 开 关 IOS （ Input Output
Switch ）,控 制 描 述 字 控 制 器 CDC
（ Control Description Word Controller）
和输入输出缓冲存储器 BIOM（ Buffer of
Input and Output Memory） 。
IOS有两个功能，一是开关功能 ;二是作为 DFS和 PEM之间的缓冲，
11.3.2 Burroughs BSP计算机图 11-7 BSP科学处理机系统组成文件存储器 CCD
4 ～ 64M B
文件存储器控制器
100M bit/s
100M bit/s
12.5M bit/s
操作系统和维护信息程序和数据
250K bit/s
文件存储系统并行处理机 控制处理机系统管理机
B7 70 0/B7 80 0
并行存储器
0.5 ～ 8M B
入口和出口对准网络
16 个算术单元并行处理机控制器指令 / 控制存储器
256K B
控制维护单元标量处理单元
1,BSP处理机的组成
2,并行存储器
BSP存储器的一个独特的性能是它可以实现 16个单元的无冲突访问。
3,BSP的数据流水线结构图 11-9 BSP数据流水线结构
16 个处理单元
17 个存储体处理器指令译码控制部件存储器出口对准网络 入口对准网络
11.3.3 CM-2计算机
1,处理机阵列
可以包含 4～ 64KB处理器。
2,寻径器,NEWS网格和扫描机构
（ 1） 寻径器
（ 2） NEWS网格
（ 3） 扫描机构
3,输入输出系统
11.4 SIMD计算机的应用
11.4.1 连续模型及差分计算
连续模型和离散模型 （ 又称为粒子模型 ） 。
连续和离散两种模型在计算时呈现不同的特性。
11.4.2 阵列处理机的几种基本算法
1,矩阵加
2,矩阵乘
3,累计和
