曙光ParaStor云存储系统.pptx

曙光ParaStor云存储系统,,1,,2,3,,4,,市场地位,产品规格,产品特性,应用场景,5,,竞争分析,存储市场变化2015年，全球存储市场缓慢增长（2.2%） 2015年中国大陆增长率14.8%，全球市场份额7.8% 国有厂商市场增长率为43.3%，目前市场份额达56.9%,集群NAS市场蓬勃发展 全球市场Scale-out NAS稳步增长(19.9%) 中国市场Scale-out集群架构存储市场份额已达45.8%,存储市场发展趋势,,2010年单一系统16PB,2013年 中国区NAS IDC 排名第3,2014年 中国区NAS IDC 排名第２,2015年 中国区 NAS IDC 排名第1,截至2015年 1100+用户成功应用 累计销售容量260+PB,ParaStor存储系统市场地位,Lustre,LoongStor,Stornext,Parastor,N9000,GlusterFS,MPFS,MooseFS,HDFS,Isilon,BWStor,Ceph,FastDFS,PanaFS,商业系统,开源系统,,常见分布式文件系统,GPFS,,,,,,DAS,,,,,,NAS,,,,SAN,传统存储架构,,,,分布式存储,,,,,,,,,,,分布式文件系统,分布 式存储,,,分布式块存储,,,• 提供文件系统服务，通常支持 POSIX接口和NAS提供服务 • 兼具分布式系统的并行化、可伸 缩等特点 Parastor、CephFS、Lustre、 OceanStor9000、GPFS、蓝鲸 BWFS…… • 提供比块存储更丰富的接口，考 虑目录、文件属性的支持、非结 构化数据海量存储需求,通常以QEMU driver或kernel Module的形式存在 Ceph RBD、AWS EBS、 Sheepdog、阿里云盘古、华为 FusionStorage • 延迟要求高，提供通用需求，能应 付大/小文件读写，提供VM、数据 库服务,对 储• 键值存储，非树形结构，通过REST（get/put/delete）接口实现文 件访问，支持上传下载、不支持文件的打开/修改 • swift、S3、以及各种网盘，通常用于大文件高带宽应用,,,分布式文件系统产品分类,,后端存储访问层,,协作管理层,,前端数据访问层, 串行访问：串行地从一个节点读写数据  并行访问：并行地从多个节点同时读取数据, 对称性：集群内所有节点均能处理元数据和数据  非对称性：元数据节点、数据节点相互独立, 共享式：集群中的每个节点都能访问到相同的底层存储介质  分布式：每个节点只能访问到连接至本地的存储介质，并独占该介质的 访问；访问其他节点数据需要通过网络传输,集群文件系统架构中，关注和讨论的主要焦点在于对称性/非对称性、共享式/分布式的区别,,,常见产品分类,,,架构区别-分布式vs.SAN共享式,,,架构区别-全对称式vs.非对称式,,1,,2,3,,4,,市场地位,产品规格,产品特性,应用场景,5,,典型案例,产品概述,,分布式存储架构 Scale-Out集群NAS形态,非结构化数据存储,完全自主研发,海量空间，弹性扩展 可构建EB级单一存储空间,No.1 2015 IDC国内NAS市场排名第一,No.1 EB级，经过验证的国内最大存储系统,TOP3 连续4年IDC国内NAS市场前三,海量非结构化数据云存储系统 – ParaStor,,数据管理,协议引擎,存储高级功能,WebUI管理,,POSIX,,NFS,,CIFS,,FTP,,HTTP,,HDFS,,管理节点,索引节点,数据节点,,数据保护,,ParaStor分布式文件系统,应用协议层,数据处理层,硬件节点层,,,,逻辑架构,体系架构,,,,,,,,客户端,管理网,数据归档,并发读写,并发读写,并发读写,,,,数据迁移,,,,元数据读写,Windows,UNIX/LINUX,MAC,数据迁移,,ParaStor 云存储系统,通用产品形态，索引控制器支持2~128个，数据控制器支持3~4096个 数据控制器硬件规格支持2U24、4U24、4U36、5U86盘位等4种 索引控制器高可靠双活架构；数据冗余支持多副本、纠删码两种方式,,双节点对称存储架构，不支持扩容 硬件规格支持2U12、4U36盘位等2种,,2016年10月新推出，单路服务器，4U24、4U36盘位 仅用于视频监控领域，成本优势明显,ParaStor 双节点系统,ParaStor 视频监控专用存储系统,2U24Bay,4U24Bay,4U36Bay,5U86Bay,2U12Bay,4U36Bay,产品形态,,双节点对称,硬件规格,软件特性,双节点对称架构 2U12、4U36盘位 2U12包含8块数据盘 4U36包含24块数据盘 数据盘最大4TB 不支持节点扩容,内嵌ParaStor组件及软件 POSIX/NFS/CIFS/FTP接口 RESTful接口 双副本（推荐）、2+2:1 权限管理、配额、WORM,适合容量小、大文件存储场景 适用于金融票据、医疗PACS等市场 小文件存储、有扩容要求不建议推荐,ParaStor双节点存储系统,视频监控专用存储系统,,硬件,,主推 场景,,推广 “死区”,,,,,视频监控专用存储系统 98000974,,,,,单路服务器 4U24、4U36盘位32GB Cache/3.5”HDD 1GbE/10GbE,视频监控对成本要求较为严格仅作为存储资源池，节点与视频业务无复用需求,存储节点上需要运行视频业务软件 对性能要求较高,,1,,2,3,,4,,市场地位,产品规格,产品特性,应用场景,5,,典型案例,产品特性,,,并行集群架构设计 满足高并发IO需求,条带优化提供 高单流IO带宽,聚合带宽等于数据控制器带宽线性叠加，随容量线性增长,全Active索引集群提升海量小文件处理能力,,,,,卓越性能 线性增长,,,,以太网交换机1,以太网交换机2,索引控制器,索引控制器,,,,,,,,,,,,,,,,/home/appl/data/web/important_big_spreadsheet.xls,/home/appl/data/web/big_architecture_drawing.ppt,/home/appl/data/web/unstructured_big_video.mpg,/home/appl/data/web/important_big_spreadsheet.xls,/home/appl/data/web/big_architecture_drawing.ppt,/home/appl/data/web/unstructured_big_video.mpg,,,逻辑层,0,1,2,3,4,5,6,7,8,9,10,11,0,1,2,3,4,5,6,7,8,9,10,11,,a,b,c,d,e,f,g,h,i,j,k,l,a,b,c,d,e,f,g,h,i,j,k,l,A,B,C,D,E,F,G,H,I,J,K,L,A,B,C,D,E,F,G,H,I,J,K,L,,,,,0,2,A,B,C,物理层,1,,,,,数据冗余 安全可靠,/home/appl/data/web/important_big_spreadsheet.xls,数据冗余 多副本 vs. 纠删码,,,数据分段对象存储,多副本,N+M纠删码,数据复制,空间利用率：1/(1+M),Erasure Code算法,空间利用率：N/(N+M),,,纠删码冗余 N+M：b,N+M的理解 N：数据对象个数 M：校验对象个数,D1,N=8，M=2,,M：允许故障的磁盘数目,b的理解 允许故障的节点数,8+2:1,Node1,D1,Node2,D2,Node3,D3,D7,D8,P1,,D2,D3,D4,D5,D6,D7,D8,P1,P2,D1,,D2,D3,D4,D5,D6,D7,D8,P1,P2,,Node4,D4,Node5,D5,Node6,D6,P2,D1,D7,常见的N+M:b 模式,节点分区与磁盘分组,同样采用8+2:1，划分多个分区，缩小节点故障域,同样采用8+2:1，划分多个分组，缩小磁盘故障域,,LAN,,,,,,,,,1,2,3,4,,1,2,3,4,,1,2,3,4,数据控制器,数据控制器,初始状态,,并行数据I/O,,,,数据控制器,数据控制器,数据控制器,,1,2,3,4,,1,2,3,4,,1,2,3,4,数据控制器,数据控制器,数据控制器,扩展后,,并行数据I/O,数据控制器,海量空间 弹性扩展,,访问接口 专有Linux、Windows内核态访问接口 POSIX API NFS/CIFS/FTP接口 RESTful编程接口 HDFS 接口 SNMP接口网络接口 40/56/100Gb IB 10Gb/1Gb以太网 RDMA 支持负载均衡和冗余,ParaStor文件系统,,,,应用节点,● ● ●,私有接口应用模式（并行存储） 支持Linux和Windows,NFS/CIFS访问模式（集群NAS形态）,应用节点,应用节点,I/O 节点,I/O 节点,I/O 节点,oApp,VFS,oApp,VFS,oApp,WinFS,存储系统组成,存储系统组成,,,,应用 服务器,FTP等文件 存储服务器,Windows 服务器,NFS、CIFS、FTP、REST、HDFS……,● ● ●,VFS,接口丰富 应用多样,RESTful协议,● ● ●,,RESTful接口，HTTP协议传输,RESTful接口,标准HTTP方式 CAS（固定内容寻址存储） OpenStack Swift对象存储接口,对象存储客户端,Web客户端,认证服务器,访问方式,主要包含上传、下载、更新、删除等 非实时读写，不可直接进行编辑和操作 CAS存储，Key-Value方式，适合一写多读的场景 兼容OpenStack Swift接口，访问之前需要通过KeyStone认证,HDFS文件系统,内存计算引擎,流处理引擎,并行数据库 中间件,批处理引擎,关系型数据库,曙光ETL工具集,分布式云存储(HDFS),数据访问接口（SQL++/JDBC/CLI）,分析挖掘库,曙光大数据平台管理软件,行为分析,舆情分析,个性化推荐,多维度展示,大数据安全体系,大数据标准体系,ParaStor分布式文件系统,ParaStor-Xdata 融合系统 ParaStor 的数据节点安装Xdata 的软件 Xdata 的管理节点单独部署,完全自主研发，可做深度应用优化 ParaStor 较之开源HDFS的优势 空间利用率高、性能优越、冗余度高 融合系统成本优势明显,,,ParaStor云存储管理系统 包括监控、管理、高级三大模块，简洁直观，统一管理，智能监控，及时告警,统一管理 运维简单,,,分级存储,热数据区,冷数据区,新建文件,创建时间长,访问频度低,访问频度高,FILE1,FILE2,FILE3,FILE4,FILE5,FILE6,配额管理,,多粒度多层次配额设置,基于文件系统 基于目录 基于用户组 基于用户,√,√,√,√,300TB,40TB,60TB,50TB,50TB,100TB,40TB,60TB,50TB,50TB,100TB,200TB,200TB,软硬阈值限定,文件数量软阈值 容量软阈值 文件数量硬阈值 容量硬阈值,√,√,√,√,给出告警可以继续写入,无法写入,SSD缓存加速,读缓存 数据节点上配置一定数量的SSD 访问频度高的随机数据存入到SSD中，再次读取时直接访问SSD 智能识别连续/随机IO，自动过滤连续数据访问，最大发挥SSD作用 随机、小块数据、读密集型（一定几率重读）的场景，IOPS读性能提升明显 单块SATA SSD 8K随机读IOPS，实际测试值20000,,SSD缓存读数据流程-1,客户端,索引节点,内存,SSD,HDD,①,②,③,④,⑤,⑥,数据节点N,,内存,SSD,。