系统结构-ch7-9-2009bk.pdf

第7~9章 高性能计算机技术简介郑 庆 华郑 庆 华西安交通大学计算机系2009年6月目前流行的高性能并行计算机系统结构目前流行的高性能并行计算机系统结构通常可以分成5类：?并行向量处理机（PVP）?对称多处理机（SMP）?大规模并行处理机（MPP）?分布共享存储多处理机（DSM）?机群（Cluster）?优势：低廉的价格、极强的灵活性和可扩 缩性?成为近年来发展势头最为强劲的系统结构1. 1. 共享存储器多处理机系统共享存储器多处理机系统?多核处理器系统?系统中包含一个多核的处理器芯片?每个处理器核能够独立运行程序?单核多处理器系统?多个单核的处理器构成的系统?处理器之间的通信延迟时间较长?多核多处理器系统?多个多核处理器构成的并行系统?两个并行处理的层次多处理机系统的结构分类?按程序特征?MIMD?SPMD?代替SIMD?按处理机特征?同构homogenius?异构heterogenius互连网络 CPUM…MCPUMCPU…核?独立的指令执行和控制单元?独立的功能部件?独立的控制器?完整的指令流水线多核处理器分类?单核多线程处理器?单核CPU构成?多核处理器?多核芯片构成?多核多线程处理器?每个核都是多线程的多核处理器的分类CUCacheEUCUCUCacheEU单核单线程处理器单核单线程处理器单核多线程处理器单核多线程处理器CUCacheEUCUCUEUCUCacheCUCacheEUCUEUCache多核处理器多核处理器多核多线程处理器多核多线程处理器?CU: CPU state + Interrupt logic单核多处理机系统CU CacheEUCU CacheEU共享存储器CU CacheEU互连网络多核多处理机系统CUEUCUEUCacheCUEUCUEUCUEUCUEUCacheCUEUCUEUCUEUCUEUCacheCUEUCUEUCUEUCUEUCacheCUEUCUEU共享存储器共享存储器互连网络互连网络几种不同的技术?HT – Hyper Threading: 2 threads running on the same processor core?处理器上的某些资源会被共享?使用相同的缓存和运算器?DC – Dual Core: 2 execution cores in the same processor package?共享系统总线?与双处理器的性能相同?DP/MP – Dual/Multi-Processing: 2 or more processors in the same system?只共享系统总线，独立缓存?高性能，资源冲突少双核技术 VS. 超线程技术?双核是真正意义上的双处理器双核是真正意义上的双处理器?不会发生资源冲突?每个线程拥有自己的缓存、寄存器和运算器?双核技术与双核技术与HT技术在性能上的对比技术在性能上的对比?Ex 1: 两个两个floating point线程线程 (Smithfield client)?每个线程拥有自己的FPU, 没有资源冲突?尽管性能上没有提升太多，但仍然优于HT?Ex 2: 一个一个integer线程与一个线程与一个floating point线程线程?性能大幅度提升?没有资源冲突DualCoreDualCore，，，，SMPSMP，，，，ClusterCluster体系结构特性SMP（对称多处 理机）Cluster（集群）DualCore处理器单一主机，多个 处理器多台主机，有各 自的处理器（一 或多）单一主机，单一 处理器，多个核 心操作系统单一多个单一主要并行计算方 式多进程，内存共 享多进程，基于消 息传递多线程7.2 互连网络的基本概念?互连网络是一种由开关元件按照一定的拓扑结 构和控制方式构成的网络，用来实现计算机系 统中结点之间的相互连接。

结点：处理器、存储模块或其他设备互连网络在系统中的位置，如图所示在拓扑上，互连网络为输入结点到输出结 点之间的一组互连或映象互连网络的基本概念互连网络的基本概念互连网络的基本概念互连网络的基本概念互连网络互连网络 结结 点点 链路链路 结结 点点 链路链路 结结 点点 链路链路…… … 互连网络在系统中的位置互连网络在系统中的位置互连网络的基本概念互连网络的基本概念?可以从4个不同的方面来描述互连网络?定时方式：有同步和异步两种同步系统：使用一个统一的时钟 SIMD阵列处理机就属于这一种类型异步系统：没有统一的时钟，系统中的各个处理 机都是独立地工作交换方法：有线路交换和分组交换两种线路交换：源结点和目的结点之间的物理通路在 整个数据传送期间一直保持连接分组交换：把信息分割成许多组（又称为包）， 将它们分别送入互连网络互连网络的基本概念互连网络的基本概念?控制策略：有集中式和分散式两种?集中控制方式：有一个全局的控制器接收所有 的通信请求，并由它设置互连网络的开关连 接分散控制方式：不存在全局的控制器，通信请 求的处理和开关的设置由互连网络分散地进 行拓扑结构：有静态和动态两种静态拓扑结构：在各结点之间有专用的连接通 路，且在运行过程中不能改变。

动态拓扑结构：可根据需要设置互连网络中的 开关，从而对结点之间的连接通路进行重新组 合，实现所要求的通信模式互连函数的概念变量x：输入（设x=0，1，…，N－1）函数f(x)：输出通过数学表达式建立输入端与输出端的一一对应关 系即在互连函数f的作用下，输入端x连接到输出端 f(x)互连函数反映了网络输入数组和输出数组之间对 应的置换关系或排列关系有时也称为置换函数或排列函数）?互连函数f(x)有时可以采用循环表示 即：（x0x1x2… xj-1） 表示： f(x0)=x1，f(x1)=x2，…，f(xj-1)=x03、集中式共享存储器结构?根据系统中处理器个数的多少，可把现有的MIMD计算 机分为两类： （每一类代表了一种存储器的结构和互连策略）?集中式共享存储器结构动画?最多由几十个处理器构成通过大容量的Cache和总线互连使各处理器共 享一个单独的物理存储器 这类计算机有时被称为?SMP计算机 （Symmetric shared-memory MultiProcessor）?UMA计算机（Uniform Memory Access）对称式共享存储器多处理机的基本结构CPU0 CPU1CPU2CPU3存储器存储器I/O 分布式存储器结构动画互连网络 I/o存储器I/o存储器 I/o存储器I/o存储器 CPU0 CPU1 CPU2CPU3存储器 I/o存储器I/o存储器 I/o存储器I/oCPU4 CPU5CPU6CPU7分布式存储器结构的特点?分布式存储器结构的优点? 如果大多数的访问是针对本结点的局部存储器，则 可降低对存储器和互连网络的带宽要求。

对局部存储器的访问延迟低最主要的缺点? 处理器之间的通信较为复杂，且各处理器之间访问 延迟较大簇：超级结点? 每个结点内包含个数较少（例如2～8）的处理器；? 处理器之间可采用另一种互连技术（例如总线）相 互连接形成簇4、机群的基本概念和结构?机群：一种价格低廉、易于构建、可扩缩性极强 的并行计算机系统由多台同构或异构的独立计算机通过高性能网络或 局域网互连在一起，协同完成特定的并行计算任 务从用户的角度来看，机群就是一个单一、集中的计 算资源一个简单PC机群的逻辑结构?4台PC机通过交换机连接在一起NIC表示网络接口，PCI表示I/O总线这是一种无共享的结构，大多数机群都采用这 种结构如果将下图中的交换机换为共享磁盘，则可以 得到共享磁盘的机群系统结构一个包含4个结点的简单PC机群机群的基本概念和结构?构成机群的每台计算机都被称为一个结点每个结点都是一个完整的系统，拥有本地磁盘和操 作系统，可以作为一个单独的计算资源供用户使 用除了PC机外，机群的结点还可以是工作站，甚至是 规模较大的对称多处理机机群的各个结点一般通过网络连接在一起网络接口与结点的I/O总线以松散耦合的方式相连机群的软件模型?机群操作系统：在各结点的操作系统之上建立一层操作 系统来管理整个机群。

机群操作系统的功能?提供硬件管理、资源共享以及网络通信?实现单一系统映象?Single System Image，SSI?一项重要功能?机群的一个重要特征机群的软件模型?SSI包含四重含义?单一系统?单一控制?逻辑上，最终用户或系统用户使用的服务都 来自机群中唯一的位置系统管理员通过一个唯一的控制点配置机群 的所有软、硬件组件对称性：用户可以从任一个结点上获得机群服务位置透明：用户不必了解真正提供服务的物理设备 的具体位置机群的软件模型?简单机群系统中的SSI至少应该提供以下三种服务：?单一登录?即用户可以通过机群中的任何一个结点登录， 而且在整个作业执行过程中只需登录一次，不 必因作业被分派到其他结点上执行而重新登 录单一文件系统?在机群系统中，有一些对整个机群所有结点而 言都相同的软件，它们没有必要在每一个结点 上重复安装另外执行并行作业时要求每个结 点都可以访问到可执行文件，即这些软件和可 执行文件在整个机群系统中应该只有一个唯一 的副本机群的软件模型?单一作业管理系统?用户可以透明地从任一结点提交作业，作业可 以以批处理、交互或并行的方式被调度执行PBS、LSF、Condor和JOSS都是目前比较具有 代表性的作业管理系统。

并行编程模型以及相关的并行编程环境比较流行的并行编程工具： MPI、PVM、OpenMP、HPF 机群的软件模型机群的特点?机群系统的优点?系统开发周期短?结点采用PC机、工作站，通过商用网络连接系统开发的重点：通信子系统和并行编程环境?可靠性高：每个结点都是独立的PC机或工作站?可扩缩性强?机群的计算能力随着结点数量的增加而增大?机群结构灵活（结点之间以松耦合方式连接）?机群系统的硬件容易扩充和替换，可以灵活配 置性能价格比高?用户编程方便机群的特点?机群的迅猛发展还得益于微处理器技术、网络技术和并 行程序设计技术的进步微处理器技术的进步使得微处理器的性能不断提 高，价格不断下降 机群系统更容易融合到已有的网络系统中，而且随 着网络技术的进步和高性能通信协议的引入，机群 结点间的通信带宽进一步提高，通信延迟进一步缩 短，逐步缓解了由于结点松散耦合引起的机群系统 通信瓶颈问题机群的不足之处：由于机群由多台完整的计算机组成， 它的维护相当于要同时去管理多个计算机系统，因此维 护工作量较大，维护费用也较高课程结束衷心感谢大家的合作！。