哈尔滨工业大学计算机科学与技术学院
并行处理与体系结构
哈尔滨工业大学计算机科学与技术学院
第 6章系统的互联和千兆位网络
??1 互连网络基础
??2 静态连接网络
??3 动态连接网络
??4 消息传递机制
??5 千兆位网络技术
??6 ATM交换器和网络
哈尔滨工业大学计算机科学与技术学院
?5 千兆位网络技术
? 一、问题的提出
?1.机群系统
? 如下图
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
?1.机群系统
?5个体系结构概念融为一个机群，它
是全体计算机 (结点 )的 互连集 。这
些互连的计算机能集体地工作，尤
如一个 单一系统,以提供不会被中
断 (可用性 )和有效的 (性能 )服务。
哈尔滨工业大学计算机科学与技术学院
?解释,
? 机群是全体计算机 (结点 )的集合，这些计
算机由高性能网络或局域网 (LAN)物理地
互连。典型情况下，每个计算机结点是一
台 SMP服务器、一台工作站或是一台 PC计
算机。更重要的是，所有机群结点必须能
一起集体工作，如同一个单一集成的计算
资源，除了满足由交互用户单独地使用每
个结点的协定任务之外。
哈尔滨工业大学计算机科学与技术学院
? 2.特征
? 计算机机群特征（一）
? COW的每个结点是一个完整工作站，但没
有某些外围设备 (如监视器、键盘、鼠标
等 )。有时称这类结点为, 无头工作站, 。
一个结点也可以是一台 SMP或是一台 PC。
? 结点通过低廉的商品化网络，如以太网、
FDDI、光通道和 ATM开关实现互连，虽然
在某些商用机群中也使用专用网络。
哈尔滨工业大学计算机科学与技术学院
? 计算机机群特征（二）
? 网络接口与结点中的 I/O总线松耦合相连。
与此相反,MPP中则用紧耦合网络接口,它
与处理结点的存储器总线连接。
? 总有一个局部磁盘，而在 MPP结点中可能
没有。
? 在每个结点上驻留有完整的操作系统，而
在某些 MPP的结点中只有操作系统的微核。
哈尔滨工业大学计算机科学与技术学院
? 总之,
? COW的操作系统是相同的工作站 UNIX，加上一
个附加软件层以支持单一系统映像、可用性、
并行性、通信以及负载平衡。
? 现在 MPP和 COW之间的界限正变得日益模糊。
IBM SP2被认为是一个 MPP。但除了用作通信
网络的专用高性能开关之外，它是机群体系
结构。
? 与 MPP相比，机群具有许多成本 /性
能优点。机群化正成为开发可扩展
并行计算机的趋向。
哈尔滨工业大学计算机科学与技术学院
? 二、千兆位的光纤通道和 FDDI环
?1.通道和网络
?2.光纤通道
?ANSIX3T11指出光纤通道 (FC)是通道
和网络标准的集成，目的是为了在工
作站、主机、超级计算机、存储设备
和显示器之间进行联网、存储和数据
传输。
? FC能提供联网、存储和数据传输标准。
哈尔滨工业大学计算机科学与技术学院
?3.光纤通道技术
? 光纤通道可以是共享介质，也可是一
种交换技术。当前，光纤通道操作速
度范围是 100到 133,200,400和
800Mbps
? 光纤通道除了在局域网应用中提供客
户／服务务器解决办法或集线器 (hub)
解决办法之外，已支持点对点、环路
和交换星型等连接。
哈尔滨工业大学计算机科学与技术学院
?性能,
?光纤通道使用 STP铜线可达 50米之长，
速率是 100Mbps；
?使用单模光纤可达 10公里；
?使用多模光纤的光纤通道局域网可
跨越 2公里，速率是 200Mbps。
? 当前在大部分光链路的实现中，由于有很
高的软件驱动器开销，限制了光纤通道的
最高性能小于 255Mbps。
哈尔滨工业大学计算机科学与技术学院
?4.FG标准的五层
? 光纤通道体系结构包括五个标准层,如下表
所示。
? 物理介质和传输速率 (FC-0)；
? 数据编码和解码方案 (FC-1)；
? 帧协议和流控制 (FC-2)；
? 普通服务和特点选择 (FC-3)；
? 针对各种数据通道和网络标准的高层协议和
应用接口 (FC-4)。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
?5.光纤通道拓朴结构
?联网拓朴结构的灵活性是光纤通道
的优势；
?它支持点到点，仲裁环，及交换光
纤连接。
?点到点连接
?能够以 3种拓扑结构最高可能的带宽
连接计算机和计算机，或计算机和
磁盘。
哈尔滨工业大学计算机科学与技术学院
?仲裁环
?在令牌驱动的环中，可连接多至 126
个设备。这对于大量存储设备互
连是非常好的，所有设备共享许可的
带宽。这种环的优点是价格低，因为
不需交换开关。
?交换光纤拓朴结构
?提供最大的吞吐量，许多不同速度设
备能连接到中央光纤交换开关上。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
?这种结构中也使用了带缓存的虫蚀
寻径技术。
? 如果不存在冲突，一个 8× 8的交叉开关使 3
个报元 (称数据片 )以每 1／ 40?s的周期通过
交换开关。
? 当存在热点冲突时，每次只允许 1个交叉开
关。
? 当存在热点冲突时，每次只允许 1个交
叉点开关工作，被阻塞的数据片缓存在
中央队列中。
哈尔滨工业大学计算机科学与技术学院
? 这种缓冲使得输入端口可以从前 1个交换
阶段解脱出来以接收后续的数据片。 中
央队列是用双端口的 RAM加以实现的，它
能在每个时钟周期内执行一次读和一次写。
? 为了匹配最大的带宽，每个输入端口首先
从 FIFO队列中并行化 8个数据片，使之成
一个数据块，然后在 1个周期内写整个 64
位的数据块到中央队列中。
哈尔滨工业大学计算机科学与技术学院
? 6.FDDI
? Digital Equipmen公司开发了共享介质的
FDDI(fiber distributed data interface)
技术。
? FDDI使用双光纤令牌环在工作站之间提供
100-200Mbps的传输速率。为了可靠性的目
的，使用两个相反方向的旋转环来提供冗余
通路。 FDDI具有互连大量设备的能力。
? 如果用铜线可达 100米 ;
? 用多模光纤可达 2公里 ;
? 用单模光纤可达 60公里。
哈尔滨工业大学计算机科学与技术学院
? 双连接多模光纤 FDDI环不用重复器或
网桥也可扩展到 200公里远。
? FDDI环在容错方面也是先进的。 FDDI
集中器通过隔离故障使得网络非常可
靠。
? 紧急任务服务器也能连接两个集中器
以提供更高的容错能力。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? FDDI的缺陷是没有能力支持多介质传输，
因为传统的 FDDI仅以异步方式操作，这
可能削弱 FDDI同 ATM技术的竞争。但是，
同步的 FDDI产品已经出现，它可用来处
理时间要求严格的传输。
? 这使得 FDDI在将来的应用中保留了一定
的用户团体。 Digital公司的 FFDI技术使
得以全双工模式应用的 FDDI变得可能，
这也增加了 FDDI的竞争力。
哈尔滨工业大学计算机科学与技术学院
? 三,快速以太网和千兆位以太网
? 分析 3代以太网，介绍 Myrinet网，它是大学环
境中，学术研究工作的结果。
? 1.以太网的代别
? 10Mbps以太网首先在 1982年出现，已不再能
满足当前多计算机机群或因特网应用中的带宽
需求。
? 1994年两种 100Mbps快速以太网 (100BaseT和
100VG AnyLAN)开发成功。
? IEEE802,3工作组于 1997年宣布 1千兆位以太
网已经可能。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? 2.电缆的连接距离
? 根据使用的电缆技术，以太网跨越的最长距离可达 25
公里。
? 对于千兆位以太网，网络距离降为 25公里到 2公里这个
范围。
? 千兆位以太网应用对象是要求更大带宽的校园或楼宇
大厦。
? 100Base·T在 100米以内的铜线上，在 20公里内的单模
光纤上，在 2公里以内的全双工多模光纤上的工作速率
为 100Mbps。
? 另一种快速以太网技术是 100VG-AnyLAN。它在 100至
150米的双绞线上，在 4公里以内的光纤电缆上提供
100Mbps的速率。
哈尔滨工业大学计算机科学与技术学院
? 以太网多半假设是总线或星型拓朴结
构，而快速以太网更多地支持星型拓
朴结构。
? 从投资保护角度来讲，千兆位以太网
并不要求改变早期以太网产品的网络
基础结构、管理和应用。
哈尔滨工业大学计算机科学与技术学院
? 千兆位以太网未来变迁
? 将来的千兆位以太网可有效地支持使用 5类 UTP
连线。
? 例题,
? 一个千兆位以太局域网主干线
? 下图中，如何将一个交换式快速以太网主干线
升级成千兆位局域网主干线。高性能服务器农
庄可用千兆位 Internet NIC直接连接到千兆位
网络主干线上。对因特网用户来说，这种升级
可以提高多服务器机群的吞吐量。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? 以太网的高速升级,
? 将交换开关升级成服务器链路，以高速存取应
用和文件服务器。
? 在 100Mbps和 1Gbps的交换器之间，升级交换器
到交换器之间的链路以获得 1Gbps的管道。
? 将交换式快速以太网主干线升级成具有千兆位
以太网交换器或重复器功能的聚集快速以 太
网交换器。
? 将共享 FDDI网络主干线升级成具有千兆位以太
网交换器或重复器的 FDDI交接器，或升级成以
太网到 FDDI的交换器／路由器。
哈尔滨工业大学计算机科学与技术学院
? 四、构造 SAN／ LAN的 Myrinet网
Myrinet是 Myricom公司设计的千兆位报
文交换网络。 Myricom公司的目的是为了构
造计算机机群，使系统互连成为一种商业
产品。 Myrinet是基于加州理工学院开发的
多计算机和 VLSI技术，以及在南加州大学
开发的 ATOMIC／ LAN技术。
? 它被设计用来构造柜式 SAN计算机机群，或
者构造基于 LAN的桌面主机和服务器农庄。
? Myrinet假设任意拓朴结构，不必限定交换
开关为网格或任何规则的结构。
哈尔滨工业大学计算机科学与技术学院
? 在数据链路层,Myrinet网通过可变长的报
文格式，对每条链路定义流控制和错误控
制。使用直通交叉开关寻径报文，以及用
户可编程的主机接口。 Myrinet SAN比
Myrinet LAN价格要低，因为减小了物理规
模，减少了部件。
? 在物理层上,Myrinet网使用全双工 SAN链
路，最长可达 3米，峰值速率为
1.28+1.28Gbps。作为 LAN链路使用时，在
长至 25米的电气电缆上和长至 500米的缎带
光纤上，正如计划中规定的一样，可获得
0,64+0,64Gbps的速率。
哈尔滨工业大学计算机科学与技术学院
?Myrinet网交换开关
? Myrinet交换开关中使用了阻塞的
直通 (虫蚀 )寻径机制，类似 CrayT3D
和 IntelParagon。在任意网络拓朴
结构中，多端口的交换开关通过链
路和其它交换开关或单端口的主机
接口相连。每个交换开关内部是流
水式的交叉开关，具有流控和输入
缓存功能。
哈尔滨工业大学计算机科学与技术学院
?Myrinet网主机接口
? 主机接口是一个 32位的用户定制的
VLSI处理器，称作 LANai芯片，带有
Myrinet接口、报文接口,DMA引擎和
快速静态 RAM。而 SRAM用来存储
Myrinet控制程序 (MCP)和报文缓存。
这种微体系结构在一般的总线和
Myrinet链路之间提供了一种灵活和
高速的接口。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? 例题 Myrinet网连接的 LAN／ Cluster配置。
? 上图中展示了用 4个 Myrinet交换开关构造
一个 Myrinet局域网，该网连接了桌面工作
站,PC机和柜内多计算机机群和单板多处
理机群。在多计算机柜中，由 2个交换开关
形成一个 SAN。网络 RAM和磁盘阵列也接到
Myrinet网上。
总之,Myrinet网支持计算机机群的应
用方面有很大的潜力。 Myrinet网上时，仍
有限制。如上图。
哈尔滨工业大学计算机科学与技术学院
? 五,HiPPI和超级 HiPPI
? HiPPI技术已广泛用于异构计算机和它们的外设
的组网之中。
? 1.HiPPI技术
? 高性能并行接口 (HiPPl)是由 Los.Alamos国家实
验室于 1987年提出的一标准，目的是统一来自不
同厂商生产的所有主机和超级计算机的接口。在
主机和超级计算机工业界,HiPPI被接收为短距
离系统到系统以及系统到外设连接的高速 I／ O通
道。
? HiPI和 ATM具有互操作性，再加光纤通道和 Sonet
已经研制成功。所以，由 HiPPI担当高速组网；
面的角色是可行的。
哈尔滨工业大学计算机科学与技术学院
?2.接口和敷设电缆要求
? 基本的接口是 50位宽，其中 32位是数
据,18位是控制信号。每 40ns发送一
个 32位的字构成了总计为 800Mbps的
速率。物理上指定使用 50对屏蔽双绞
线，距离最长可达 25米。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? 3.HiPPI通道和交换开关
? HiPPI通道被引入作为高速 I／ O或外设通
道，但它不支持选播。在商品化机型中，
HiPPI通道和 HiPPI交换开关用在
SGIPowerChallenge服务器群,IBM 390
主机,Cray Y／ MP,C-90和 T3D／ T3E等
系统中，同光纤通道一样,HiPPI不适合
低延时的、动态的和交互的应用。
哈尔滨工业大学计算机科学与技术学院
? HiPPI通道和 HiPPI交换开关的一些操作
特点,
① 超高速的数据传输。目前，不论单工还是
全双工方式,HiPPI可配置为 800Mbps或
1.6Gbps两种速率。
② 非常简单的信号系列。
③ 协议独立。
④ 物理层流控制。
⑤ 面向连接的电路交换。
⑥ 和铜线及光纤的兼容性。
哈尔滨工业大学计算机科学与技术学院
?5.超级 HiPPI
?开发成功一种超级 HiPPI技术，提供
潜在的速率为 6,4Gbps，或更高；
?向后兼容不好。
哈尔滨工业大学计算机科学与技术学院
?SGI公司和 Los.Alamos国家实验室都
开发了 HiPPI技术用来构造速率高达
25.6Gbps／ s的 HiPPI交换开关。
?1994年在哥伦比亚特区华盛顿召开的
ACM Supercomputing会议上，演示了
一种全光纤的 HiPPI主干线，包括 18
英里长的多模电缆和 16个展示器
(exhibitor)，总共可提供高至
90Gbps的聚集带宽。
哈尔滨工业大学计算机科学与技术学院
?6 ATM交换器和网络
? 异步传输模式 (ATM)由 ATM论坛 (成立
于 1991年 )和 ITU标准定义。
? 大多数计算机公司都有它们的 ATM组
网技术以支持企业和局域网。
哈尔滨工业大学计算机科学与技术学院
? 一,ATM技术
? ATM是一种独立于介质的消息传输协议，
它将消息段传输转变成更短的固定长
度为 53字节的报元传输。
? 这种技术是基于片交换机制。 ATM的目
的是将实时 (也就是延时敏感的 )和突
发数据 (也就是非延时敏感的 )两个方
面的传输变成统一的网络技术。
哈尔滨工业大学计算机科学与技术学院
?1.ATM报元格式
?如图所示，长报文在传输经过
ATM网络之前，必须分成多个报
元。
?使用小报元、虚路径和虚通道使
得 ATM报元交换设计非常具有吸
引力。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? ATM报元可用,
?源寻径方案和逐站 (hop-by-hop)的
寻径方案。
? 对于源寻径方案，整个寻径路径信息必
须包括在报元头中。因此，寻径长度受
到限制。
? 对逐站寻径，报文头中只需存放站的识
别码，因此寻径路径选择非常灵活。在
多数 ATM交换器中，采用上面给出的报元
格式，并选择逐站的寻径方案。
哈尔滨工业大学计算机科学与技术学院
? 2.报元交换器设计
? 除了使用传统的报文交换网络之外，
ATM还提供了一种建立报元交换网络的
新标准。
? 它被设计用来在一个网络上，高速传
输从声音到图象，从视频到数据所有
类型媒体。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
?3,ATM速度
?ATM网络支持从 25到 51,155和
622Mbps不同的速率范围，速率越低，
ATM交换器和使用的链路价格越低。
?ATM的速度在将来可能进一步提高。
FORE系统的 ASX 1000ATM交换器带有
每端口 622Mbps速率，从而可使聚集
带宽达到 10Gbps。
哈尔滨工业大学计算机科学与技术学院
? 二,ATM网络接口
? 定义了两种网络接口,
? UNI(用户 —— 网络接口 )；
? NNI(网络 —— 网络接口 )。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? 三, ATM四层体系结构
? 层次化的 ATM模型
? 概念上来说,ATM模型可用 4个层次的三维
的模型来描述。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
?四,ATM互连网连接性能
? 不同的 ATM交换器、链路和适配器可用于
不同的组网需求。
? 例如，在一个工作室内，可用专用的 ATM
交换器连接 PC、工作站和服务器。 ATM交
换器可用来构成 LAN主干网，或是存取早
期的 LAN(例如以太网、令牌环网或 FDDI
环网 )，或是分配视频到工作站机群，或
者用因特网对企业网进行存取。
哈尔滨工业大学计算机科学与技术学院
?例题 PearlCluster
? 香港大学的一种基于 ATM的多计算机机群在香
港大学 (HKU)，已建立了一种基于 ATM的工作站
和服务器机群。
? 如图中展示了 ATM网络配置。计算机机群围绕
着 3个互连的 ATM交换器而建立，聚集带宽为
5Gbps。
? 155Mbps的采用多模光纤的光缆用来互连 6个
SMP服务器和 40多个 Sun,SGI工作站和 PC。
? 所有这些计算机分布在同一栋大楼内。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? 由于使用了 ATM链路和非 ATM链路两种
链路，所有不兼容 ATM的主机必须通
过 ATM适配器连接到 ATM网。
? 这样不同速率的外部链路连接到或来
自 Pearl_Cluster。但是在机群内部，
除了现有的以太网和 FDDI连接之外，
只使用 155Mbps的光纤电缆。
哈尔滨工业大学计算机科学与技术学院
? 大多数主机连接到 ATM主干交换器
(ASX— 1000,ASX-200BX)上，连接到
以太网上的一些主机通过以太网集中
器 (PowerHub 7000)间接地进行互连。
?LAX-20局域网存取交换器连接以太网
和 FDDI环。 ATM交换器,155Mbps光纤
链路，以及 ATM适配卡是构造 HKU机群
的基本部件。
哈尔滨工业大学计算机科学与技术学院
? Pearl_Cluster的应用
? 基于 PearlCluster设备的研究项目覆盖了特殊
机群体系结构的开发，分布多媒体处理、元计
算和财经数字库等等。
? (1)在财经数字库 (FDL)应用方面，使用
Pearl_Cluster中的一些负载共享工具
(1SF,LoadSharingFacility)进行 SSI(单一系统
映象 )操作。
? (2)除了应用 MPI(消息传递接口 )和 PVM(并行虚
拟机 )之外，应用主动消息和 JVM(Java虚机器 )
外壳进行用于高速消息传递的 MPI-Java接口
(MJl)的开发。
哈尔滨工业大学计算机科学与技术学院
? (3)使用两种语言的 WWW索引和搜索引擎，
从 Web资源中，对中、英文文档或多媒体
文件进行高速的信息检索。
? (4)为了进行计算机机群的性能测试，扩
展了 TPC(事务处理协会 )的基准程序并生
成了新的 DMS(分布式多媒体系统 )的基准
程序。这些 TPC和 DMS的基准程序用来估
计机群化超级服务器在商业应用中的潜
力。
哈尔滨工业大学计算机科学与技术学院
?缺陷和不足
? 电信工业已选择 ATM实现了许多宽带
ISDN(综合服务数字网络 )服务。 ATM的未
来取决于与 LAN和 WAN技术的集成能力。
? 就负面而言,ATM网络缺乏公共接受的报
元管理和网络协议。
? 除非计算机、多媒体、电讯等工业界达成
ATM相同的标准集，否则 ATM技术的缺点将
超过它的优点。
并行处理与体系结构
哈尔滨工业大学计算机科学与技术学院
第 6章系统的互联和千兆位网络
??1 互连网络基础
??2 静态连接网络
??3 动态连接网络
??4 消息传递机制
??5 千兆位网络技术
??6 ATM交换器和网络
哈尔滨工业大学计算机科学与技术学院
?5 千兆位网络技术
? 一、问题的提出
?1.机群系统
? 如下图
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
?1.机群系统
?5个体系结构概念融为一个机群，它
是全体计算机 (结点 )的 互连集 。这
些互连的计算机能集体地工作，尤
如一个 单一系统,以提供不会被中
断 (可用性 )和有效的 (性能 )服务。
哈尔滨工业大学计算机科学与技术学院
?解释,
? 机群是全体计算机 (结点 )的集合，这些计
算机由高性能网络或局域网 (LAN)物理地
互连。典型情况下，每个计算机结点是一
台 SMP服务器、一台工作站或是一台 PC计
算机。更重要的是，所有机群结点必须能
一起集体工作，如同一个单一集成的计算
资源，除了满足由交互用户单独地使用每
个结点的协定任务之外。
哈尔滨工业大学计算机科学与技术学院
? 2.特征
? 计算机机群特征（一）
? COW的每个结点是一个完整工作站，但没
有某些外围设备 (如监视器、键盘、鼠标
等 )。有时称这类结点为, 无头工作站, 。
一个结点也可以是一台 SMP或是一台 PC。
? 结点通过低廉的商品化网络，如以太网、
FDDI、光通道和 ATM开关实现互连，虽然
在某些商用机群中也使用专用网络。
哈尔滨工业大学计算机科学与技术学院
? 计算机机群特征（二）
? 网络接口与结点中的 I/O总线松耦合相连。
与此相反,MPP中则用紧耦合网络接口,它
与处理结点的存储器总线连接。
? 总有一个局部磁盘，而在 MPP结点中可能
没有。
? 在每个结点上驻留有完整的操作系统，而
在某些 MPP的结点中只有操作系统的微核。
哈尔滨工业大学计算机科学与技术学院
? 总之,
? COW的操作系统是相同的工作站 UNIX，加上一
个附加软件层以支持单一系统映像、可用性、
并行性、通信以及负载平衡。
? 现在 MPP和 COW之间的界限正变得日益模糊。
IBM SP2被认为是一个 MPP。但除了用作通信
网络的专用高性能开关之外，它是机群体系
结构。
? 与 MPP相比，机群具有许多成本 /性
能优点。机群化正成为开发可扩展
并行计算机的趋向。
哈尔滨工业大学计算机科学与技术学院
? 二、千兆位的光纤通道和 FDDI环
?1.通道和网络
?2.光纤通道
?ANSIX3T11指出光纤通道 (FC)是通道
和网络标准的集成，目的是为了在工
作站、主机、超级计算机、存储设备
和显示器之间进行联网、存储和数据
传输。
? FC能提供联网、存储和数据传输标准。
哈尔滨工业大学计算机科学与技术学院
?3.光纤通道技术
? 光纤通道可以是共享介质，也可是一
种交换技术。当前，光纤通道操作速
度范围是 100到 133,200,400和
800Mbps
? 光纤通道除了在局域网应用中提供客
户／服务务器解决办法或集线器 (hub)
解决办法之外，已支持点对点、环路
和交换星型等连接。
哈尔滨工业大学计算机科学与技术学院
?性能,
?光纤通道使用 STP铜线可达 50米之长，
速率是 100Mbps；
?使用单模光纤可达 10公里；
?使用多模光纤的光纤通道局域网可
跨越 2公里，速率是 200Mbps。
? 当前在大部分光链路的实现中，由于有很
高的软件驱动器开销，限制了光纤通道的
最高性能小于 255Mbps。
哈尔滨工业大学计算机科学与技术学院
?4.FG标准的五层
? 光纤通道体系结构包括五个标准层,如下表
所示。
? 物理介质和传输速率 (FC-0)；
? 数据编码和解码方案 (FC-1)；
? 帧协议和流控制 (FC-2)；
? 普通服务和特点选择 (FC-3)；
? 针对各种数据通道和网络标准的高层协议和
应用接口 (FC-4)。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
?5.光纤通道拓朴结构
?联网拓朴结构的灵活性是光纤通道
的优势；
?它支持点到点，仲裁环，及交换光
纤连接。
?点到点连接
?能够以 3种拓扑结构最高可能的带宽
连接计算机和计算机，或计算机和
磁盘。
哈尔滨工业大学计算机科学与技术学院
?仲裁环
?在令牌驱动的环中，可连接多至 126
个设备。这对于大量存储设备互
连是非常好的，所有设备共享许可的
带宽。这种环的优点是价格低，因为
不需交换开关。
?交换光纤拓朴结构
?提供最大的吞吐量，许多不同速度设
备能连接到中央光纤交换开关上。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
?这种结构中也使用了带缓存的虫蚀
寻径技术。
? 如果不存在冲突，一个 8× 8的交叉开关使 3
个报元 (称数据片 )以每 1／ 40?s的周期通过
交换开关。
? 当存在热点冲突时，每次只允许 1个交叉开
关。
? 当存在热点冲突时，每次只允许 1个交
叉点开关工作，被阻塞的数据片缓存在
中央队列中。
哈尔滨工业大学计算机科学与技术学院
? 这种缓冲使得输入端口可以从前 1个交换
阶段解脱出来以接收后续的数据片。 中
央队列是用双端口的 RAM加以实现的，它
能在每个时钟周期内执行一次读和一次写。
? 为了匹配最大的带宽，每个输入端口首先
从 FIFO队列中并行化 8个数据片，使之成
一个数据块，然后在 1个周期内写整个 64
位的数据块到中央队列中。
哈尔滨工业大学计算机科学与技术学院
? 6.FDDI
? Digital Equipmen公司开发了共享介质的
FDDI(fiber distributed data interface)
技术。
? FDDI使用双光纤令牌环在工作站之间提供
100-200Mbps的传输速率。为了可靠性的目
的，使用两个相反方向的旋转环来提供冗余
通路。 FDDI具有互连大量设备的能力。
? 如果用铜线可达 100米 ;
? 用多模光纤可达 2公里 ;
? 用单模光纤可达 60公里。
哈尔滨工业大学计算机科学与技术学院
? 双连接多模光纤 FDDI环不用重复器或
网桥也可扩展到 200公里远。
? FDDI环在容错方面也是先进的。 FDDI
集中器通过隔离故障使得网络非常可
靠。
? 紧急任务服务器也能连接两个集中器
以提供更高的容错能力。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? FDDI的缺陷是没有能力支持多介质传输，
因为传统的 FDDI仅以异步方式操作，这
可能削弱 FDDI同 ATM技术的竞争。但是，
同步的 FDDI产品已经出现，它可用来处
理时间要求严格的传输。
? 这使得 FDDI在将来的应用中保留了一定
的用户团体。 Digital公司的 FFDI技术使
得以全双工模式应用的 FDDI变得可能，
这也增加了 FDDI的竞争力。
哈尔滨工业大学计算机科学与技术学院
? 三,快速以太网和千兆位以太网
? 分析 3代以太网，介绍 Myrinet网，它是大学环
境中，学术研究工作的结果。
? 1.以太网的代别
? 10Mbps以太网首先在 1982年出现，已不再能
满足当前多计算机机群或因特网应用中的带宽
需求。
? 1994年两种 100Mbps快速以太网 (100BaseT和
100VG AnyLAN)开发成功。
? IEEE802,3工作组于 1997年宣布 1千兆位以太
网已经可能。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? 2.电缆的连接距离
? 根据使用的电缆技术，以太网跨越的最长距离可达 25
公里。
? 对于千兆位以太网，网络距离降为 25公里到 2公里这个
范围。
? 千兆位以太网应用对象是要求更大带宽的校园或楼宇
大厦。
? 100Base·T在 100米以内的铜线上，在 20公里内的单模
光纤上，在 2公里以内的全双工多模光纤上的工作速率
为 100Mbps。
? 另一种快速以太网技术是 100VG-AnyLAN。它在 100至
150米的双绞线上，在 4公里以内的光纤电缆上提供
100Mbps的速率。
哈尔滨工业大学计算机科学与技术学院
? 以太网多半假设是总线或星型拓朴结
构，而快速以太网更多地支持星型拓
朴结构。
? 从投资保护角度来讲，千兆位以太网
并不要求改变早期以太网产品的网络
基础结构、管理和应用。
哈尔滨工业大学计算机科学与技术学院
? 千兆位以太网未来变迁
? 将来的千兆位以太网可有效地支持使用 5类 UTP
连线。
? 例题,
? 一个千兆位以太局域网主干线
? 下图中，如何将一个交换式快速以太网主干线
升级成千兆位局域网主干线。高性能服务器农
庄可用千兆位 Internet NIC直接连接到千兆位
网络主干线上。对因特网用户来说，这种升级
可以提高多服务器机群的吞吐量。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? 以太网的高速升级,
? 将交换开关升级成服务器链路，以高速存取应
用和文件服务器。
? 在 100Mbps和 1Gbps的交换器之间，升级交换器
到交换器之间的链路以获得 1Gbps的管道。
? 将交换式快速以太网主干线升级成具有千兆位
以太网交换器或重复器功能的聚集快速以 太
网交换器。
? 将共享 FDDI网络主干线升级成具有千兆位以太
网交换器或重复器的 FDDI交接器，或升级成以
太网到 FDDI的交换器／路由器。
哈尔滨工业大学计算机科学与技术学院
? 四、构造 SAN／ LAN的 Myrinet网
Myrinet是 Myricom公司设计的千兆位报
文交换网络。 Myricom公司的目的是为了构
造计算机机群，使系统互连成为一种商业
产品。 Myrinet是基于加州理工学院开发的
多计算机和 VLSI技术，以及在南加州大学
开发的 ATOMIC／ LAN技术。
? 它被设计用来构造柜式 SAN计算机机群，或
者构造基于 LAN的桌面主机和服务器农庄。
? Myrinet假设任意拓朴结构，不必限定交换
开关为网格或任何规则的结构。
哈尔滨工业大学计算机科学与技术学院
? 在数据链路层,Myrinet网通过可变长的报
文格式，对每条链路定义流控制和错误控
制。使用直通交叉开关寻径报文，以及用
户可编程的主机接口。 Myrinet SAN比
Myrinet LAN价格要低，因为减小了物理规
模，减少了部件。
? 在物理层上,Myrinet网使用全双工 SAN链
路，最长可达 3米，峰值速率为
1.28+1.28Gbps。作为 LAN链路使用时，在
长至 25米的电气电缆上和长至 500米的缎带
光纤上，正如计划中规定的一样，可获得
0,64+0,64Gbps的速率。
哈尔滨工业大学计算机科学与技术学院
?Myrinet网交换开关
? Myrinet交换开关中使用了阻塞的
直通 (虫蚀 )寻径机制，类似 CrayT3D
和 IntelParagon。在任意网络拓朴
结构中，多端口的交换开关通过链
路和其它交换开关或单端口的主机
接口相连。每个交换开关内部是流
水式的交叉开关，具有流控和输入
缓存功能。
哈尔滨工业大学计算机科学与技术学院
?Myrinet网主机接口
? 主机接口是一个 32位的用户定制的
VLSI处理器，称作 LANai芯片，带有
Myrinet接口、报文接口,DMA引擎和
快速静态 RAM。而 SRAM用来存储
Myrinet控制程序 (MCP)和报文缓存。
这种微体系结构在一般的总线和
Myrinet链路之间提供了一种灵活和
高速的接口。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? 例题 Myrinet网连接的 LAN／ Cluster配置。
? 上图中展示了用 4个 Myrinet交换开关构造
一个 Myrinet局域网，该网连接了桌面工作
站,PC机和柜内多计算机机群和单板多处
理机群。在多计算机柜中，由 2个交换开关
形成一个 SAN。网络 RAM和磁盘阵列也接到
Myrinet网上。
总之,Myrinet网支持计算机机群的应
用方面有很大的潜力。 Myrinet网上时，仍
有限制。如上图。
哈尔滨工业大学计算机科学与技术学院
? 五,HiPPI和超级 HiPPI
? HiPPI技术已广泛用于异构计算机和它们的外设
的组网之中。
? 1.HiPPI技术
? 高性能并行接口 (HiPPl)是由 Los.Alamos国家实
验室于 1987年提出的一标准，目的是统一来自不
同厂商生产的所有主机和超级计算机的接口。在
主机和超级计算机工业界,HiPPI被接收为短距
离系统到系统以及系统到外设连接的高速 I／ O通
道。
? HiPI和 ATM具有互操作性，再加光纤通道和 Sonet
已经研制成功。所以，由 HiPPI担当高速组网；
面的角色是可行的。
哈尔滨工业大学计算机科学与技术学院
?2.接口和敷设电缆要求
? 基本的接口是 50位宽，其中 32位是数
据,18位是控制信号。每 40ns发送一
个 32位的字构成了总计为 800Mbps的
速率。物理上指定使用 50对屏蔽双绞
线，距离最长可达 25米。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? 3.HiPPI通道和交换开关
? HiPPI通道被引入作为高速 I／ O或外设通
道，但它不支持选播。在商品化机型中，
HiPPI通道和 HiPPI交换开关用在
SGIPowerChallenge服务器群,IBM 390
主机,Cray Y／ MP,C-90和 T3D／ T3E等
系统中，同光纤通道一样,HiPPI不适合
低延时的、动态的和交互的应用。
哈尔滨工业大学计算机科学与技术学院
? HiPPI通道和 HiPPI交换开关的一些操作
特点,
① 超高速的数据传输。目前，不论单工还是
全双工方式,HiPPI可配置为 800Mbps或
1.6Gbps两种速率。
② 非常简单的信号系列。
③ 协议独立。
④ 物理层流控制。
⑤ 面向连接的电路交换。
⑥ 和铜线及光纤的兼容性。
哈尔滨工业大学计算机科学与技术学院
?5.超级 HiPPI
?开发成功一种超级 HiPPI技术，提供
潜在的速率为 6,4Gbps，或更高；
?向后兼容不好。
哈尔滨工业大学计算机科学与技术学院
?SGI公司和 Los.Alamos国家实验室都
开发了 HiPPI技术用来构造速率高达
25.6Gbps／ s的 HiPPI交换开关。
?1994年在哥伦比亚特区华盛顿召开的
ACM Supercomputing会议上，演示了
一种全光纤的 HiPPI主干线，包括 18
英里长的多模电缆和 16个展示器
(exhibitor)，总共可提供高至
90Gbps的聚集带宽。
哈尔滨工业大学计算机科学与技术学院
?6 ATM交换器和网络
? 异步传输模式 (ATM)由 ATM论坛 (成立
于 1991年 )和 ITU标准定义。
? 大多数计算机公司都有它们的 ATM组
网技术以支持企业和局域网。
哈尔滨工业大学计算机科学与技术学院
? 一,ATM技术
? ATM是一种独立于介质的消息传输协议，
它将消息段传输转变成更短的固定长
度为 53字节的报元传输。
? 这种技术是基于片交换机制。 ATM的目
的是将实时 (也就是延时敏感的 )和突
发数据 (也就是非延时敏感的 )两个方
面的传输变成统一的网络技术。
哈尔滨工业大学计算机科学与技术学院
?1.ATM报元格式
?如图所示，长报文在传输经过
ATM网络之前，必须分成多个报
元。
?使用小报元、虚路径和虚通道使
得 ATM报元交换设计非常具有吸
引力。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? ATM报元可用,
?源寻径方案和逐站 (hop-by-hop)的
寻径方案。
? 对于源寻径方案，整个寻径路径信息必
须包括在报元头中。因此，寻径长度受
到限制。
? 对逐站寻径，报文头中只需存放站的识
别码，因此寻径路径选择非常灵活。在
多数 ATM交换器中，采用上面给出的报元
格式，并选择逐站的寻径方案。
哈尔滨工业大学计算机科学与技术学院
? 2.报元交换器设计
? 除了使用传统的报文交换网络之外，
ATM还提供了一种建立报元交换网络的
新标准。
? 它被设计用来在一个网络上，高速传
输从声音到图象，从视频到数据所有
类型媒体。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
?3,ATM速度
?ATM网络支持从 25到 51,155和
622Mbps不同的速率范围，速率越低，
ATM交换器和使用的链路价格越低。
?ATM的速度在将来可能进一步提高。
FORE系统的 ASX 1000ATM交换器带有
每端口 622Mbps速率，从而可使聚集
带宽达到 10Gbps。
哈尔滨工业大学计算机科学与技术学院
? 二,ATM网络接口
? 定义了两种网络接口,
? UNI(用户 —— 网络接口 )；
? NNI(网络 —— 网络接口 )。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? 三, ATM四层体系结构
? 层次化的 ATM模型
? 概念上来说,ATM模型可用 4个层次的三维
的模型来描述。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
?四,ATM互连网连接性能
? 不同的 ATM交换器、链路和适配器可用于
不同的组网需求。
? 例如，在一个工作室内，可用专用的 ATM
交换器连接 PC、工作站和服务器。 ATM交
换器可用来构成 LAN主干网，或是存取早
期的 LAN(例如以太网、令牌环网或 FDDI
环网 )，或是分配视频到工作站机群，或
者用因特网对企业网进行存取。
哈尔滨工业大学计算机科学与技术学院
?例题 PearlCluster
? 香港大学的一种基于 ATM的多计算机机群在香
港大学 (HKU)，已建立了一种基于 ATM的工作站
和服务器机群。
? 如图中展示了 ATM网络配置。计算机机群围绕
着 3个互连的 ATM交换器而建立，聚集带宽为
5Gbps。
? 155Mbps的采用多模光纤的光缆用来互连 6个
SMP服务器和 40多个 Sun,SGI工作站和 PC。
? 所有这些计算机分布在同一栋大楼内。
哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院
? 由于使用了 ATM链路和非 ATM链路两种
链路，所有不兼容 ATM的主机必须通
过 ATM适配器连接到 ATM网。
? 这样不同速率的外部链路连接到或来
自 Pearl_Cluster。但是在机群内部，
除了现有的以太网和 FDDI连接之外，
只使用 155Mbps的光纤电缆。
哈尔滨工业大学计算机科学与技术学院
? 大多数主机连接到 ATM主干交换器
(ASX— 1000,ASX-200BX)上，连接到
以太网上的一些主机通过以太网集中
器 (PowerHub 7000)间接地进行互连。
?LAX-20局域网存取交换器连接以太网
和 FDDI环。 ATM交换器,155Mbps光纤
链路，以及 ATM适配卡是构造 HKU机群
的基本部件。
哈尔滨工业大学计算机科学与技术学院
? Pearl_Cluster的应用
? 基于 PearlCluster设备的研究项目覆盖了特殊
机群体系结构的开发，分布多媒体处理、元计
算和财经数字库等等。
? (1)在财经数字库 (FDL)应用方面，使用
Pearl_Cluster中的一些负载共享工具
(1SF,LoadSharingFacility)进行 SSI(单一系统
映象 )操作。
? (2)除了应用 MPI(消息传递接口 )和 PVM(并行虚
拟机 )之外，应用主动消息和 JVM(Java虚机器 )
外壳进行用于高速消息传递的 MPI-Java接口
(MJl)的开发。
哈尔滨工业大学计算机科学与技术学院
? (3)使用两种语言的 WWW索引和搜索引擎，
从 Web资源中，对中、英文文档或多媒体
文件进行高速的信息检索。
? (4)为了进行计算机机群的性能测试，扩
展了 TPC(事务处理协会 )的基准程序并生
成了新的 DMS(分布式多媒体系统 )的基准
程序。这些 TPC和 DMS的基准程序用来估
计机群化超级服务器在商业应用中的潜
力。
哈尔滨工业大学计算机科学与技术学院
?缺陷和不足
? 电信工业已选择 ATM实现了许多宽带
ISDN(综合服务数字网络 )服务。 ATM的未
来取决于与 LAN和 WAN技术的集成能力。
? 就负面而言,ATM网络缺乏公共接受的报
元管理和网络协议。
? 除非计算机、多媒体、电讯等工业界达成
ATM相同的标准集，否则 ATM技术的缺点将
超过它的优点。
