性能计算集群存储解决方案.pdf

高性能计算集群存储解决方案高性能计算集群存储解决方案 ———蓝鲸集群存储系统———蓝鲸集群存储系统 天 津 中 科 蓝 鲸 信 息 技 术 有 限 公 司天 津 中 科 蓝 鲸 信 息 技 术 有 限 公 司 TIANJIN ZHONGKE B LUEWHALE INFORMATION TECHNOLOGY CO.,LTD Blue Whale 地址：天津新技术产业园区华苑产业区海泰发展 6 道 6 号海泰绿色产业基地 F 座 5 门 201 号 网站： ： 022- 85689592 (中继线Ⅰ) ： 022- 85689593 (中继线Ⅱ) 版 权 所 有 © 2 0 0 8 天 津 中 科 蓝 鲸 信 息 技 术 有 限 公 司 天津中科蓝鲸信息技术有限公司天津中科蓝鲸信息技术有限公司 天津中科蓝鲸信息技术有限公司是在中国科学院与天津市政府开展院地合作的背景下，在天津新技术产业园区管委会的支持下， 由中科院计算技术研究所、 天津海泰科技投资管理有限公司、 美国飞康软件股份有限公司等单位共同出资成立的， 主要从事网络存储产品的研发、生产和销售，及相关技术开发与服务，为用户提供具有完全自有知识产权的存储产品和基于这些产品的存储解决方案。

中科蓝鲸公司是中科院计算所在国内的唯一的存储技术产业化基地， 其目标是成为中国存储产业的领军企业和国家网络存储研发基地， 促进国内存储产业的发展， 打造国产网络存储产品知名品牌 中科蓝鲸公司主要在中科院计算所工程中心已有的存储系列研究成果基础上， 结合国外先进的存储技术，研发、生产和销售自有品牌的网络存储系统，提供优质的存储技术服务，同时针对各行业的具体应用， 向用户提供网络存储解决方案 目前公司已有的成熟的蓝鲸系列存储产品包括：蓝鲸集群存储系统、蓝鲸部署系统、蓝鲸数据备份系统和蓝鲸网络存储设备等，并已经在石油、遥感、高教、政府、科研等行业得以应用 工程中心于 1997 年 4 月经国家科学技术委员会批准组建， 2000 年通过国家科技部验收，依托于中国科学院计算技术研究所， 是国家批准成立的 2 个计算机领域内的国家工程技术研究中心之一 自 2001 年以来，工程中心将高性能计算研究的重点集中到网络存储系统以及基于网络存储系统的高性能计算机系统的关键技术上来是国内存储行业最早进行基于 IP 的网络存储系统研究的机构之一，其研发成果包括“蓝鲸品牌”的蓝鲸系列高端技术存储产品 蓝鲸系列存储产品之一的蓝鲸集群存储系统（BWStor）正是 Blue Whale 为高性能计算领域量身定制的专业存储产品。

本系列产品不仅提供 PB 级的存储、几十 GB 的 I/O 吞吐率，打破了存储 I/O 瓶颈，还可实现系统容量和性能的动态扩展，以及快速部署和管理应用服务器，而且针对高性能领域里特殊应用环境需求，通过利用高性能的 Linux 集群，在达到极高地址：天津新技术产业园区华苑产业区海泰发展 6 道 6 号海泰绿色产业基地 F 座 5 门 201 号 网站： ： 022- 85689592 (中继线Ⅰ) ： 022- 85689593 (中继线Ⅱ) 版 权 所 有 © 2 0 0 8 天 津 中 科 蓝 鲸 信 息 技 术 有 限 公 司 地计算能力的同时， 提供无缝集成原有系统和易管理的专业的存储解决方案， 极大地提高计算性能、减小总体拥有成本 使用 BWStor 存储解决方案，企业能够通过控制他们的存储基础结构的费用和复杂性，降低总体拥有成本，实现最高的应用性能随着产品化工作不断发展，现已部署在能源、制造业、遥感、生物计算等高性能计算领域中BWStor 的应用，大大提高了应用系统的生产效率并简化了系统管理在数据密集型高性能集群计算应用中，采用蓝鲸存储技术后，计算系统的计算效率被提高了 2- 10 倍。

地址：天津新技术产业园区华苑产业区海泰发展 6 道 6 号海泰绿色产业基地 F 座 5 门 201 号 网站： ： 022- 85689592 (中继线Ⅰ) ： 022- 85689593 (中继线Ⅱ) 版 权 所 有 © 2 0 0 8 天 津 中 科 蓝 鲸 信 息 技 术 有 限 公 司 高性能计算环境高性能计算环境 I/O 性能问题解析性能问题解析 从上个世纪 80 年初计算机应用开始，高性能计算机系统已经经历了好几代的更新，从早期的向量服务器，一直到现在集群（PC Cluster） 目前 PC Cluster 已经成为高性能计算环境下的主流系统发展趋势 高性能计算往往是一种数据密集型和计算密集型相结合的应用数据密集型和计算密集型相结合的应用，对计算和 I/O 的处理能力都有较高的要求，而集群应用可分为计算密集型和数据密集型两大类 所谓数据密集型应用，主要指在计算过程中使用、生产大量数据的应用，这种应用模式对集群系统在数据的峰值高速导入、大量并发共享访问、高速传输、高的 I/O 扩展性、大目录（大量小文件）和大文件的性能等多个方面都提出了很高的要求根据对应用需求的分析我们可以看出， 工业应用已经取代科学计算和技术研究成为高性能计算的主体应用， 其中数据处理更成为核心应用，如在地球物理、大气气象、生物信息等领域等。

I/O 密集型是数据密集型应用中最主要的一种，但在使用 PC Cluster 进行数据处理的时候，一个最主要的问题就是数据的 I/O 瓶颈问题如果 PC Cluster 中的节点无法获得高速率的数据传输性能，其计算性能也无法获得充分发挥在我国大多数的高性能计算集群中，PC Cluster 环境通常采用网络文件系统（Network File System，NFS）进行数据传输和共享，但由于受到 NFS 协议的限制，其数据传输性能较差，能够进行并发计算的节点数量非常有限，严重制约计算能力的发挥，从而导致数据处理应用程序不能获得很好的性能特别是针对多个任务处理的情况，其性能会急剧下降，导致 PC Cluster 节点的 CPU 使用率只有10%~50%，严重影响了计算能力的发挥随着国内外高性能计算技术的快速发展，对于存储容量和 I/O 带宽提出了更高的要求， 存储环境已经成为未来高性能计算集群大规模发展的关键因素如果集群的结点无法获得高速率的数据传输，其计算性能也无法充分发挥，这就导致了“高性能不等于高效能” 随着集群的规模不断扩大，I/O 已经越来越成为限制集群应用继续扩展的主要瓶颈 目前采用基于 SAN 架构的集群文件系统是解决集群 I/O 密集型应用的主要技术之一。

基于 SAN 架构的集群文件系统是采用元数据集群和 SAN 并行处理 I/O 请求的分布式文件系统，对集群应用来讲，提供统一的访问入口和全局的文件系统，支持大规模集群，支持上百TB 的大容量存储，高的 I/O 聚合吞吐率；高的动态可扩展性，支持目前集群主流的网络，高可靠性对于 I/O 密集型应用，基于 SAN 架构的集群文件系统无疑很好的解决了 I/O 吞地址：天津新技术产业园区华苑产业区海泰发展 6 道 6 号海泰绿色产业基地 F 座 5 门 201 号 网站： ： 022- 85689592 (中继线Ⅰ) ： 022- 85689593 (中继线Ⅱ) 版 权 所 有 © 2 0 0 8 天 津 中 科 蓝 鲸 信 息 技 术 有 限 公 司 吐率和 I/O 扩展性的问题但是，SAN 架构一般基于专有的存储网络和硬件设备，比如 FC交换机，HBA 卡等，其成本高昂，应用范围仅限于对性能要求较高的领域 集群文件系统在架构上通常基于 SAN 的方式，但底层互连网络并不局限于 FC，随着万兆以太网的逐步成熟，其低成本及开放性的优势使基于低成本及开放性的优势使基于 IP 互连的互连的 IP SAN 架构逐步走向架构逐步走向主流。

主流集群文件系统经过长时间的发展，在研究和应用领域先后涌现出了众多的成熟系统这些系统在体系结构拥有着共同的特性： 都采用应用节点与存储设备的直连方式， 并实现控制流与数据流相分离的“带外传输”模式 根据2005年底国际高性能计算行业发布的TOP 500分析报告中的统计数据显示，排名 TOP500 中超过 70%的计算机系统均采用了集群构架方式，且此比例呈继续扩大的趋势在 HPC（高性能计算）领域，随着底层互连技术的发展，集群系统规模的扩大以及新的应用模式的涌现对集群文件系统提出了如下更高要求： 1． 超大容量 2． 超高性能 3． 高可管理性 4． 安全性高可用性 ―― 稳定性，可靠性及长时间，大压力下的持续可用性 5． 动态可扩展性 ―― 包括节点规模，存储容量以及处理能力的动态扩展 6． 异构环境支持 ―― 对不同体系结构和操作系统的应用节点的支持 7． 语义支持 ―― 统一命名空间及对一致性语义的支持 8． ILM 要求 ―― 对完整信息生命周期的管理 针对 PC Cluster 环境中存在的 I/O 瓶颈问题，已经有不少国外研究机构和厂家研制了集群文件系统，典型的有 Lustre、Panasas、GPFS 等。

在这些主流的集群文件系统中，我公司自主研发的蓝鲸集群存储系统在有效解决了蓝鲸集群存储系统在有效解决了 I/O 吞吐率和吞吐率和 I/O 扩展性的问题扩展性的问题情况下， 以其良好的系统设计和明确的市场定位， 可以全面的满足客户对集群文件系统的需求， 其性能和所采用的技术都已经达到上述同类国外产品水平 蓝鲸集群存储系统蓝鲸集群存储系统是由中国科学院计算技术研究所国家高性能计算机工程技术研究中心的研发成果， 并由天津中科蓝鲸信息技术有限公司进行产业化的国内唯一的一款完全自主国内唯一的一款完全自主知识产权的高性能集群文件系统知识产权的高性能集群文件系统 地址：天津新技术产业园区华苑产业区海泰发展 6 道 6 号海泰绿色产业基地 F 座 5 门 201 号 网站： ： 022- 85689592 (中继线Ⅰ) ： 022- 85689593 (中继线Ⅱ) 版 权 所 有 © 2 0 0 8 天 津 中 科 蓝 鲸 信 息 技 术 有 限 公 司 高性能计算环境下的极速引擎高性能计算环境下的极速引擎 ——蓝鲸集群存储系统——蓝鲸集群存储系统 产品背景：产品背景： 蓝鲸集群存储系统是中国科学院计算技术研究所自主研发的科研成果之一， 是由中国科学院计算技术研究所国家高性能计算机工程技术研究中心 （现中科院计算所存储分中心） 于2001 年开始研究与开发的、基于 IP 的新型网络存储系统。

蓝鲸集群存储系统的研究先后得到国家 863、973 等国家重点科技计划，以及国家自然科学基金、科学院百人计划等的持续支持在国家 863 系统主题项目和 863 软件重大专项项目验收时，863 专家组给蓝鲸集群存储系统的验收评价为： “本系统采用集中式决策、分布式处理的总体设计原则，在体系结构、负载平衡、机群管理、数据管理、映射策略、高速互连网络、存储设备、硬件监控、虚拟存储模型等关键技术方面取得了进展，具有特色和创新；技术路线先进；该项目的完成情况被国家评为 AB 级蓝鲸集群存储系统的技术成果，已申请国家专利二十余项，其中 8 项已经获得授权，并申请获得了 7 项软件著作权 产品介绍：产品介绍： 蓝鲸集群存储系统是一个跨平台共享、 可扩展的大型海量分布式文件系统 本系统在底层互连技术上基于成熟的千兆及发展中的万兆以太网技术， 通过采用可扩展体系结构、 数据带外传输、LazyBinding、分层资源管理等多项专利技术；其系统。