云计算论坛 - Corsair云存储方案.ppt

一种云存储方案,.,提纲,云存储概念 云存储的特征和应用现状 云存储现状 云存储计算挑战 我们的解决方案 分布式文件系统Carrier 分布式文件管理系统Corsair,.,背景,云存储专注于向用户提供以互联网为基础，几乎可以无限扩展的高可靠存储服务，很好的满足了新兴Web2.0应用的存储需求 用户无需考虑存储容量的大小、数据存储的位置、以及数据的可用性、可靠性和安全性等繁琐的技术细节，用户只需要按需付费就可以从云存储服务提供商那里获得近乎无限大的存储空间和可靠的服务质量，从而完全专注于自身应用与业务的发展云存储的基本特征和应用领域,,.,5,云计算工业界发展现状,,,存储,,数据库,,虚拟化,,并行计算,.,6,设计云存储系统面临的技术挑战,,.,7,数据中心,数据中心,我们的解决方案,（1）存储：分布式文件系统Carrier （2）共享：虚拟文件管理系统Corsair,数据中心,数据中心,,,,,流媒体,搜索引擎,……,,,,容灾业务,,.,8,,分布式文件系统Carrier,.,9,Carrier 分布式文件系统,Carrier,,Folder,,Cloud,,Storage,,Apps,,,,,,,,,,,,,,Corsair,Entertainment,Personal Apps,.,10,Carrier功能,将地理位置分布且异构的存储节点虚拟化为一个集中的存储系统，存储节点可以热插拔。

文件被组织成一个传统的目录树，文件被按32M大小进行分块存储 系统自动保证负载均衡、故障恢复、副本恢复和垃圾回收 提供RPC、API和Shell访问接口 对于用户的读写操作实现自动负载均衡11,Carrier架构,松耦合的体系结构 多个元数据服务器Metadata Server 多个块数据服务器DataServer 多个Supervisor负责系统监控与故障恢复、副本管理、垃圾回收等事务 特色：支持多样化的文件负载（大文件、小文件都支持）、高可扩展和容错 接口: RPC、Shell、API,.,12,与相关系统比较,Google File System， S3 不开源 Hadoop 为MapReduce计算量身定做，适合并行处理，不适合数据共享 不适合处理多样化负载，譬如大量的小文件 功能和性能不够完善： 访问权限控制 读写锁 小文件操作异常 并发操作 自主拥有－－性能分析、比较和优化,.,13,,虚拟文件管理系统 Corsair,.,Corsair功能,统一视图,集成本地资源和网络资源的 统一文件管理视图,数据传输,并行文件传输、断点续传、 三方传输、流量控制,资源检索,提供对Corsair存储空间的 资源搜索功能,,为个人用户提供 私人存储服务,为社区用户提供 共享存储服务,为全部用户提供 公共存储服务,.,Corsair系统架构,,,分布式异构存储资源层,适配层,,FTP接口,Carrier接口,……,虚拟目录服务,书签管理服务,搜索服务,用户管理服务,数据传输服务,社区管理服务,服务层,,应用层,GUI,Shell,API,Web Portal,.,16,,,.,Corsair 的特性,快速共享 简单的申请操作和审批就可以拥有100 GB的社区空间 移动U盘 简单的申请操作就可以拥有2GB的个人空间 “硬盘扩容” 每个用户都可以拥有40TB的网络共享资源 用户响应速度和数据传输速度快（清华校内5MBps） 简单易用 开源 网络硬盘挂载 FTP服务器挂载,.,Corsair的三个版本,单机版（ http://demo.thuhpc.org ） 服务于中小企业 校园版（ http://corsair.thuhpc.org ） 服务于高校师生 网格版（ http://datagrid.thuhpc.org ） 服务于网格用户 Corsair支持操作系统 Windows Linux Mac版本开发中,.,19,Corsair的传输性能,.,Corsair在清华校内的实际部署及使用情况,部署情况：70TBytes的总存储空间，三个数据中心 使用情况：2008年12月1日正式发布至2009年5月1日止,http://corsair.thuhpc.org,,.,。