高性能计算存储关键技术研究_朱平.pdf

计 算 机 研 究 与 发 展Ｉ Ｓ Ｓ Ｎ １ ０ ０ ０－１ ２ ３ ９ ? Ｃ Ｎ １ １－１ ７ ７ ７ ? Ｔ ＰＪ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ａ ｎ ｄ Ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｍ ｅ ｎ ｔ ４ ８（Ｓ ｕ ｐ ｐ ｌ ．） ：３ ５ ４－３ ６ ４，２ ０ １ １收稿日期：２ ０ １ ０－１ ２－１ ０基金项目： 国家“ 八六三” 高技术研究发展计划基金项目（２ ０ ０ ９ ＡＡ ０ １ Ａ ４ ０ ２）高性能计算存储关键技术研究朱 平１，２ 朱建涛１ 高剑刚１ 蒋金虎１１（ 江南计算技术研究所 江苏无锡 ２ １ ４ ０ ８ ３）２（ 哈尔滨工业大学计算机科学与技术学院 哈尔滨 １ ５ ０ ０ ０ １）（ｆ ｅ ｎ ｄ ｉ ｃ ｍｍ＠ｓ ｉ ｎ ａ ． ｃ ｏ ｍ）Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｏ ｎ Ｈ Ｐ Ｃ Ｓ ｔ ｏ ｒ ａ ｇ ｅ Ｋ ｅ ｙ Ｉ ｓ ｓ ｕ ｅＺ ｈ ｕ Ｐ ｉ ｎ ｇ１，２，Ｚ ｈ ｕ Ｊ ｉ ａ ｎ ｔ ａ ｏ１，Ｇ ａ ｏ Ｊ ｉ ａ ｎ ｇ ａ ｎ ｇ１，ａ ｎ ｄ Ｊ ｉ ａ ｎ ｇ Ｊ ｉ ｎ ｈ ｕ１１（Ｊ ｉ ａ ｎ ｇ ｎ ａ ｎ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆＣ ｏ ｍ ｐ ｕ ｔ ｉ ｎ ｇ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ，Ｗ ｕ ｘ ｉ，Ｊ ｉ ａ ｎ ｇ ｓ ｕ２ １ ４ ０ ８ ３）２（Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆＣ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ＆Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ，Ｈ ａ ｒ ｂ ｉ ｎ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆＴ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ，Ｈ ａ ｒ ｂ ｉ ｎ１ ５ ０ ０ ０ １）Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ Ｓ ｔ ｏ ｒ ａ ｇ ｅ ｉ ｓ ａ ｖ ｅ ｒ ｙ ｉ ｍ ｐ ｏ ｒ ｔ ａ ｎ ｔ ｐ ａ ｒ ｔ ｉ ｎ ＨＰ Ｃ ｋ ｅ ｙ ｉ ｓ ｓ ｕ ｅ ａ ｎ ｄ ｉ ｔ ｄ ｅ ｃ ｉ ｄ ｅ ｓ ｔ ｈ ｅ Ｉ ? Ｏ ｐ ｅ ｒ ｆ ｏ ｒ ｍ ａ ｎ ｃ ｅ ｏ ｆＨＰ Ｃ ａ ｎ ｄ ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｃ ｙ ． Ｉ ｎ ｏ ｒ ｄ ｅ ｒ ｔ ｏ ｒ ｅ ｄ ｕ ｃ ｅ Ｉ ? Ｏ ｂ ｏ ｔ ｔ ｌ ｅ ｎ ｅ ｃ ｋ ｐ ｒ ｏ ｂ ｌ ｅ ｍ ｗ ｉ ｔ ｈ ｔ ｈ ｅ ｍ ｉ ｓ ｍ ａ ｔ ｃ ｈ ｏ ｆ ｔ ｈ ｅａ ｂ ｉ ｌ ｉ ｔ ｙ ｏ ｆ ｃ ｏ ｍ ｐ ｕ ｔ ｉ ｎ ｇ ａ ｎ ｄ Ｉ ? Ｏ，ｉ ｔ ｉ ｓ ｎ ｅ ｃ ｅ ｓ ｓ ａ ｒ ｙ ｔ ｏ ｓ ｔ ｕ ｄ ｙ ｔ ｈ ｅ ｂ ａ ｌ ａ ｎ ｃ ｅ ｄ ｅ ｓ ｉ ｇ ｎ ａ ｎ ｄ ｔ ｈ ｅ ｓ ｍ ｏ ｏ ｔ ｈ ｎ ｅ ｓ ｓ ｓ ｙ ｓ ｔ ｅ ｍｍ ａ ｔ ｃ ｈ ｏ ｎ ｃ ｏ ｍ ｐ ｕ ｔ ｅ，ｎ ｅ ｔ ｗ ｏ ｒ ｋ ａ ｎ ｄ ｓ ｔ ｏ ｒ ａ ｇ ｅ ｍ ｏ ｒ ｅ，ｔ ｏ ｓ ｔ ｕ ｄ ｙ ｔ ｈ ｅ ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｔ ｓ ｔ ｏ ｒ ａ ｇ ｅ ｄ ｅ ｖ ｉ ｃ ｅ ｏ ｆ ｓ ａ ｔ ｉ ｓ ｆ ｙ ｉ ｎ ｇｗ ｉ ｔ ｈ ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ Ｉ ? Ｏ ｌ ｏ ａ ｄ，ａ ｎ ｄ ｔ ｏ ｓ ｔ ｕ ｄ ｙ ｔ ｏ ａ ｄ ｊ ｕ ｓ ｔ ｔ ｈ ｅ ｒ ｅ ｓ ｏ ｕ ｒ ｃ ｅ ｃ ｏ ｎ ｆ ｉ ｇ ｕ ｒ ａ ｔ ｉ ｏ ｎ ｄ ｙ ｎ ａ ｍ ｉ ｃ ａ ｌ ｌ ｙ ａ ｎ ｄｔ ｒ ａ ｎ ｓ ｐ ａ ｒ ｅ ｎ ｔ ｌ ｙ ｗ ｉ ｔ ｈ ａ ｄ ａ ｐ ｔ ｔ ｈ ｅ ｔ ｙ ｐ ｅ ｏ ｆ ｃ ａ ｌ ｃ ｕ ｌ ａ ｔ ｉ ｏ ｎ ｉ ｎ ｔ ｅ ｎ ｓ ｉ ｖ ｅ，ｃ ｏ ｍｍ ｕ ｎ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｉ ｎ ｔ ｅ ｎ ｓ ｉ ｖ ｅ ａ ｎ ｄ Ｉ ? Ｏ ｉ ｎ ｔ ｅ ｎ ｓ ｉ ｖ ｅｅ ｔ ｃ ｏ ｎ ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｔ ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ａ ｎ ｄ ｓ ｅ ｒ ｖ ｅ ．Ｔ ｈ ｅ ｐ ａ ｐ ｅ ｒ ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｅ ｓ ｏ ｎ ＨＰ Ｃ ｓ ｔ ｏ ｒ ａ ｇ ｅ ｋ ｅ ｙ ｉ ｓ ｓ ｕ ｅ ｂ ｅ ｃ ａ ｕ ｓ ｅ ｍ ａ ｎ ｙａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｉ ｎ ＨＰ Ｃ，ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ａ ｎ ｄ ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ｓ ｅ ｒ ｖ ｉ ｃ ｅ ｒ ｅ ｑ ｕ ｅ ｓ ｔ ｈ ｉ ｇ ｈ ａ ｇ ｇ ｒ ｅ ｇ ａ ｔ ｉ ｏ ｎ Ｉ ? Ｏｐ ｅ ｒ ｆ ｏ ｒ ｍ ａ ｎ ｃ ｅ，ｃ ａ ｐ ａ ｃ ｉ ｔ ｙ，ＨＡ ｒ ｅ ｌ ｉ ａ ｂ ｉ ｌ ｉ ｔ ｙ ．Ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ ｔ ｏ ｒ ａ ｇ ｅ ｃ ｈ ａ ｌ ｌ ｅ ｎ ｇ ｅ ｉ ｓ ｏ ｆ ｆ ｅ ｒ ｅ ｄ ｓ ｕ ｃ ｈ ａ ｓ ｓ ｔ ｏ ｒ ａ ｇ ｅ ａ ｒ ｃ ｈ ｉ ｔ ｅ ｃ ｔ ｕ ｒ ｅ，ｈ ｉ ｇ ｈ ｐ ｅ ｒ ｆ ｏ ｒ ｍ ａ ｎ ｃ ｅ ｓ ｔ ｏ ｒ ａ ｇ ｅ ｕ ｎ ｉ ｔ ａ ｎ ｄ Ｉ ? Ｏ ｐ ａ ｔ ｈ，ｓ ｔ ｏ ｒ ａ ｇ ｅ ｎ ｅ ｔ ｗ ｏ ｒ ｋ ａ ｎ ｄ ｃ ｌ ｏ ｕ ｄ ｓ ｅ ｒ ｖ ｉ ｃ ｅ ｅ ｔ ｃ ．Ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ ｍ ａ ｓ ｓ ｓ ｔ ｏ ｒ ａ ｇ ｅ ｓ ｙ ｓ ｔ ｅ ｍ；Ｉ ? Ｏ ｗ ａ ｌ ｌ；ｖ ｉ ｒ ｔ ｕ ａ ｌ ｓ ｔ ｏ ｒ ａ ｇ ｅ；ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｉ ｎ ｇ ｆ ｉ ｌ ｅ ｓ ｙ ｓ ｔ ｅ ｍ；ｄ ａ ｔ ａ ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ ａ ｎ ｄｌ ａ ｙ ｏ ｕ ｔ；ｃ ｌ ｏ ｕ ｄ ｓ ｔ ｏ ｒ ａ ｇ ｅ摘 要 存储技术是影响高性能计算机发展的一个十分重要的关键技术， 由其构成的系统是高性能计算机系统中的重要组成部分， 其决定了计算机Ｉ ? Ｏ的处理能力， 进而决定了计算机的整体性能以及应用环境． 为缓解Ｉ ? Ｏ能力与计算能力不匹配而存在的Ｉ ? Ｏ 瓶颈问题， 需要进一步研究计算、 网络以及外围存储系统的平衡设计与系统平滑匹配， 研究应用系统Ｉ ? Ｏ 负荷的智能设备和动态透明调整系统的资源配置， 以适应计算密集型、 通信密集型和Ｉ ? Ｏ密集型等不同应用与服务． 重点研究面向高性能计算存储系统关键技术， 在高性能计算、 信息处理和信息服务等应用领域对外围存储系统的Ｉ ? Ｏ能力提出了很高的要求， 需要支持成千上万个客户端访问高可靠、 能够支持Ｐ Ｂ、Ｅ Ｂ乃至Ｚ Ｂ级的超大规模外围存储系统，支持 Ｔ Ｂ ｐ ｓ的聚合Ｉ ? Ｏ带宽能力， 这对下一代 ＨＰ Ｃ存储系统结构、 高性能存储载体部件、Ｉ ? Ｏ通路、 高性能存储网络、 网络存储技术等都提出了新的挑战．关键词 外存系统；Ｉ ? Ｏ墙； 虚拟存储； 分布式文件系统； 数据并行与分布； 云存储中图法分类号 Ｔ Ｐ ３ ３ ３． ２自１ ９ ４ ６年世界上第一台电子计算机 Ｅ Ｎ Ｉ Ａ Ｃ 诞生 至 今， 计 算 机 技 术 和 应 用 飞 速 发 展． 当 时Ｅ Ｎ Ｉ Ａ Ｃ运算速度是每秒５ ０ ０ ０次， 而当今最快的计算机是Ｅ Ｎ Ｉ Ａ Ｃ的２ ２ １ ０亿倍． 高性能计算领域变化日新月异， 虽然信息化的脚步越来越快并取得了巨大的成功， 但是人们从来没有停止过开发更高性能计算机服务于人类， 面向高性能计算的信息存储技术显得尤为重要． 在人们充分认识到外围存储系统对高性能计算机系统的重要性后， 不断有学者在研究外围存储系统的硬件、 软件、 系统结构等， 取得了一些成果， 弥补了一些与计算和网络的差距， 缓解了计算系统、 网络系统和存储系统的不平衡发展． 在高性能计算研究领域 中 追求高效 能 和 计 算 性 能 是ＨＰ Ｃ研究的重要方向之一， 而在整个系统中存在的木桶效应造成了系统发展的不均衡， 尤其是Ｉ ? Ｏ 墙的产生越来越影响 ＨＰ Ｃ的Ｉ ? Ｏ性能， 研究其外存储系统的结构、 可靠性、 可用性和可扩展性显得尤为重要．面对千万亿次计算机和即将出现的万万亿次计算机系统的严峻挑战， 必须要有一个高效、 可靠、 可扩展的外存储系统， 保证系统的均衡和可用．本文就是在这个背景下研究 ＨＰ Ｃ中的存储关键技术．１ 存储系统面临的严峻挑战１）摩尔定律的继续作用在２ ０世纪７ ０年代以前，Ｄ Ｒ ＡＭ和Ｃ Ｐ Ｕ的晶体管数目严格遵循了每两年增长一倍的速率发展；其后逐步演化成Ｄ Ｒ ＡＭ每１ ８个月增长一倍、 微处理每２ ４个月增长一倍的著名的摩尔定律． 摩尔在１ ９ ６ ５年提出芯片的晶体管数量大约每年将翻一番，于１ ９ ７ ５年修正为每两年翻一番的预测．根据世界半导体行业共同制订的２ ０ ０ ５年国际半导体技术发展路线图（Ｉ Ｔ Ｒ Ｓ） 及其更新， 未来１ ５年集成电路仍将按摩尔定律持续高速发展． Ｉ Ｔ Ｒ Ｓ预测２ ０ １ １年将采用３ ２ｎ ｍ 的工艺，２ ０ １ ４ 年将采用 ２ ２ｎ ｍ 的工艺，２ ０ １ ７年将采用１ ６ ｎ ｍ 的工艺，２ ０ ２ ０年将采用１ １ｎ ｍ的工艺． Ｉ Ｔ Ｒ Ｓ预测到２ ０ １ ３年， 高性能微处理器芯片上可集成的晶体管数将超过８ ８亿个（ 到２ ０ ２ ０年超过３ ５ ３亿个） ， 片上局部时钟频率将达到２ ２ＧＨ ｚ（ 到２ ０ ２ ０年达到７ ３ＧＨ ｚ）． Ｉ ｎ ｔ ｅ ｌ将在２ ０ １ ２年左右将硅晶圆尺寸升级到４ ５ ０ｍｍ， 而生产工艺会在不久的将来进步到１ ０ ｎ ｍ．由于缺乏革命性技术变革， 现有技术仍将保持自１ ９ ７ ０年以来的线性发展， 但持续时间不可能无限延长．这种线性发展可能继续保持１ ０～１ ５年， 但是晶体管数翻倍的期限正在加长， 已经 从１ ８个月到２ ４个月再到３ ６个月， 摩尔定律受到的挑战正不断增加［１］．２）与高性能计算旺盛需求的反差目前高性能计算与Ｉ ? Ｏ系统存在着难以逾越的鸿沟， 计算性能呈指数上升， 与Ｉ ? Ｏ性能差４个数量级以上， 如图１所示：图１ ＨＰ Ｃ和Ｉ ? Ｏ的发展３）“Ｉ ? Ｏ墙” 产生的主要原因处理器、 存储器、 外存发展不平衡， 产生存储器系统与处 理器 的速 度 失配的 “ 存储 器 墙” 和 “Ｉ ? Ｏ墙”． 许多在高性能计算平台上的应用对计算密集型、Ｉ ? Ｏ密集型和通信密集型提出了极高的要求， 但是存在“ 内存墙” 、 “Ｉ ? Ｏ墙” 和“ 编程墙” 等限制， 严重制约了 ＨＰ Ｃ应用的实际性能［２］． 而尤其是Ｉ ? Ｏ系统制约其系统性能最为明显， 其中磁盘等还要受到外存设备固有的特性如机械部件的限制， 造成外存储设备的数据传输性能和计算性能有巨大的差距．“Ｉ ? Ｏ墙” 产生的主要原因有：Ｃ Ｐ Ｕ 速度在过去几十年内已有显著增长的同时，Ｉ ? Ｏ 设备的速。