保险企业软件定义存储规划-对象存储最佳实践

    保险企业软件定义存储规划&对象存储实践经验分享    1.软件定义存储SDS概述物联网 (IoT) 的蓬勃发展推动了结构化/非结构化数据的空前增长，给企业带来了发掘新客户、创造新收入来源的巨大机会。对于IT部门来说，需要在满足海量数据增长的同时，还必须提供存储方式以及其访问方式的多样性。需要IT部门同时能够对于传统环境以及云环境提供技术支持。因此，数据密集型企业的 IT 组织必须重新评估如何管理日益分散的异构数据和应用程序环境。软件定义存储SDS（Software Define Storage）可以保障系统的存储访问能在一个精准的水平上更灵活地管理。软件定义存储是从硬件存储钟抽象出来的，这也意味着它可以编程一个不受物理系统限制的共享池，以便于最有效地利用资源。它还可以通过软件和管理进行部署和供应，也可以通过基于策略的自动化管理进一步简化。作为IT基础架构云化不可或缺的一环，软件定义存储（SDS）解决方案因其灵活性、敏捷性、自动化、高成本效率、高度可拓展性等关键优势，近年来也愈发受到业界关注。1.1. 什么是软件定义存储1.1.1. Gartner定义SDS将源于物理或虚拟设备或存储服务的存储能力抽象出来，提供敏捷性和交付QoS的同时，还可以优化成本。存储服务通过分为控制平面（管理和策略实施）和数据平面（基础架构和数据传输）的软件层，凭借互操作的、可编程的接口进行编排，来满足预先定义好的策略或者SLA,与数据存放的位置无关。Gartner认为，SDS具备如下的特色：Ø 能够动态抽取来自物理或者虚拟设备的存储功能独立于存储位置或类别，提供更高的敏捷性、确保服务质量，同时优化成本。Ø 以软件的形式提供使用或者许可，不需要从同一厂商购买硬件或者专有硬件。一些厂商可以将SDS包装成预先即成的硬件解决方案，加快交付速度。Ø 拥有下列主要特性中的一个或者几个：抽取、测量、可编程性、自动化、移动性、策略管理及编排。软件定义存储解决方案可以分为两类：iSDS和mSDS2fh08jjczgtiSDS-基础设施SDS，创建并提供取代或者增强传统存储阵列的数据中心服务。目的常常在于让存储系统可以部署到成本较低、基于行业标准的硬件上，以此改善资本支出（Capex）。mSDS-与现有的存储系统联系、提供更强的存储服务敏捷性。mSDS产品能够对存储资源实现抽取、移动性、虚拟化、存储资源管理（SRM）及I/O优化。目的常常在于减少对管理工作量的需求，以此改善运营支出（Opex）。pebeg8mldy从Gartner Hyper Cycle2017年曲线看出，iSDS相比mSDS更加成熟。zfnv9ktx3hs从Gartner优先级矩阵看，iSDS是一个革命性的技术，而mSDS的优先级只是中等。也就是说，iSDS的未来更加美好。1.1.2. SNIA定义SNIA在SDS的定义中提到，SDS允许异构的或者专有的平台。必须满足的是，这个平台能够提供部署和管理其虚拟存储空间的自助服务接口。除此之外，SDS应该包括：Ø 自动化：简化管理，降低维护存储架构的成本；Ø 标准接口：提供应用编程接口，用于管理、部署和维护存储设备和存储服务；Ø 虚拟数据路径：提供块、对象和文件的接口，支持应用通过这些接口写入数据；Ø 扩展性：无需中断应用，也能提供可靠性和性能的无缝扩展；Ø 透明性：提供存储消费者对存储使用状况及成本的监控和管理。SNIA认为，存储服务的借口需要允许数据拥有者（存储用户）同时表达，对于数据和所需服务水准的需求。数据的需求，就是SDS建立在数据路径（data path）的虚拟化，而控制路径（control path）也需要被抽象化成为存储服务。数据路径由以往的标准接口（块、文件和对象）组成。控制路径，在传统存储中，就是指存储管理员为数据提供部署数据的服务。在使用纯铜存储的大多数情况下，每一个数据服务有着各自的管理接口。变更数据服务，会导致所有存放在相应存储空间的数据都受到影响。理想的SDS，其传递数据请求的方式是：让应用通过元数据来请求相应的数据服务。实现了存储基础架构的自动化机制，极大地降低了人工运维成本，数据请求需直接传达至自动化软件。它能够直接应对请求，分配应用人员所需的存储资源，而无需人工干涉。1.2. 行业分析1.2.1. 全球&中国市场分析rek37agtll9从图中看出：到2020年，20%的软件定义存储基础设施项目将有单独的软件和硬件采购报价和决策，而现在不到15%；到2022年，30%的企业将实施至少一种混合云存储方式，而2018年仅为5%；到2019年，尚未更新并运行在8GBps光纤通道FC和10G以太网上的存储网络将成为存储阵列的性能发挥的瓶颈；到2022年，50%以上的大型企业的数据中心的存储介质中将继续保留磁带；到2020年，存储业务领军企业就将面临需要提供足够的存储能力以满足世界对存储的渴望的挑战。1.2.2. 厂商分析1） 云服务、虚拟化厂商：积极应对，做时代变革者l AWS提供了多样化的云存储，ESB/S3/EFS/S3 Glacier/Snowball等，为客户提供了多种选择；l 阿里云同样提供了块，对象，文件存储，同时提供了很多存储服务；l VMware 通过发布分布式Server SAN存储产品vSAN,在vSphere场景下全面挑战传统存储厂商；l Intel 积极寻求多方面SDS控制面合作及标准制定，2015年主动联手EMC 推SDS CoprHD开源标准。同时，推出多款SSD存储盘，为SDS提供技术支持。2） 传统存储厂商：严防死守，延续现有优势l EMC是传统存储厂商的代表，要保护已有存储市场，在EMC World2013上发布ViPR，基于控制面进行SDS构建。同时通过发布软件化战略，支持传统阵列变为软件定义存储，除闪存和高端外的所有产品全部软件化，对存储系统软件化、硬件标准化的发展方向进行试探性应对；l IBM发布Spetrum战略，投资10亿美元用于投入SDS领域，分三个阶段实施：存储虚拟化阶段、smart(API)阶段和应用平台阶段。目前，Cleversafe作为对象存储的领军产品，正在对象存储的市场上劈波斩浪；l NetApp提供StorageGRID（有两种形式：物理设备和虚拟设备），为该公司的存储产品组合提供了支持。StorageGRID支持CIFS和NFS协议，还支持云数据管理接口（CDMI）、Swift和S3 API。安全功能包括原生静态数据加密、强大的审计和报告以及WORM，借助使用该公司的Data ONTAP SnapLock功能。该产品在备份和归档两大使用场合得到了ISV的有力支持，另外还拥有有效的分层存储，支持磁盘、固态硬盘、磁带和云等选项。NetApp拥有相当数量的PB级对象存储客户。除了虚拟设备外，NetApp还为基于软件的部署提供了有限的选择；l Huawei自收购华为-赛门铁克合资公司以来，就一直在积极投资于存储行业。华为拥有多元化的产品组合，横跨SAN、NAS和对象存储三大产品线。华为的对象存储产品OceanStor/FusionStor产品基于分散的对等节点网络，元数据与对象一同存储起来，消除了任何单一故障点，能够实现无缝可扩展性。支持原生API和S3 API，以便访问数据。该产品只能作为华为销售的套装设备来部署；3） 新兴分布式存储技术:时代的挑战者l Redhat 2014年5月以1.75亿美元收购Ceph解决方案公司inktank。并于2014年7月发布Ceph企业版，正式进入存储市场；l XSKY 于2015年5月成立，创业技术团队来自于国际一线互联网公司和IT领导厂商的核心研发团队。目前，XSKY在开源存储系统Ceph社区的代码贡献排名中,位居中国第一,全球前三，并且与Redhat、戴尔、英特尔等公司达成合作。XSKY产品推出以来，获得了大规模地商业化部署，客户涵盖了政府、金融、电信、广电、教育、交通、医疗、能源、制造等不同领域，支撑了行业云、私有云、桌面云、数据库资源池、海量媒体数据、影像数据、智能制造数据等不同类型的应用场景；l 国内也有大批的初创型公司以及一些传统企业涉足Ceph领域，例如ZTE，H3C，浪潮，Easystack，中移软件，sanstone等；l 除此之外，还有一部分基于自研技术的分布式存储厂商，例如曙光，ZettaCloud等；1.3. SDS使用场景分析1.3.1. 从存储平面来划分u iSDS使用场景：1） 通过按需扩展性和充分利用商品化硬件资源，降低存储平台的总体拥有成本StrengthenØ 成本：技术设施SDS不需要价格高昂的专有存储硬件。基础设施及运维人员将把存储软件部署在基于行业标准的服务器硬件上，并降低存储升级和维护成本带来的运营支出；Ø 创新：基于行业标准的硬件能够迅速充分利用最新的服务器硬件创新，比如新的处理器芯片、固态硬盘（SSD）和普通硬盘（HDD）技术；Ø 可用性：一些SDS解决放哪提供分布式向外扩展方案：冗余性实施在软件层；Ø 性能：SDS能够通过添加节点或通过需要时升级现有的硬件服务器，增添和扩展性能及/容量，而不是预先购买整体式设计的系统；Ø 灵活性：硬件平台缓解了厂商锁定、增强了互操作性，很容易由IT团队来扩展和升级；Ø 敏捷性：存储配置和管理更容易集成到标准数据中心自动化和管理工具中。WicknessØ 集成：需要接受SDS与商品化服务器的集成，需要与OEM/ODM提供商一同确保互操作性；Ø 性能：SDS性能将基于硬件优化以及软硬件资源的合理配置，需要定期监控、测量和优化；Ø 成本：需要密切关注SDS成本，确保总体解决方案不仅可以降低采购成本，还由于增强了IT责任，总体上降低总体拥有成本；Suitable forØ 大型IT业务部门期望降低成本资本支出；Ø 针对非结构化数据的存储解决方案，数据增长迅速；Ø 开发运维场景，需要常见的数据服务和数据移动性，此外需要消除专有硬件；Ø 基础设施及运维领导人把IT作为一种核心专长和业务差异化优势，愿意投入新技能、培训和交付模式方式可能出现的变化。2） 通过优化和合并存储IO，提升性能StrengthenØ 成本：IO优化产品可以在不干扰正常运行的情况下提升虚拟机或物理主机的性能、无需升级硬件；Ø 效率：IO优化软件将缓解常常困扰密集型虚拟机环境的“IO搅拌机”问题，提高密度；Ø 性能：在更靠近应用程序和计算资源的地方添加存储功能可缩短事务时间、提高可持续IO。WicknessØ 灵活性：由于在数据路径引入了额外的软件层和任何所需的主机代理，这种SDS解决方案可能会增加复杂性；Ø 成本：可重复手动任务的自动化将提高IT生产力，以此降低存储的总体拥有成本。Suitable forØ IT业务部门和基础设施及运维人员期望提升之前部署的IT资产的性能、存储效率和利用率；Ø 基础设施和运维人员、应用程序和服务器管理员期望优化应用程序和工作负载的性能，并且实现服务质量和负载均衡。u mSDS使用场景：1） 改善存储资源的配置和自动化StrengthenØ 成本：可重复手动任务的自动化可提升IT生产力，从而降低存储的总体拥有成本；Ø 可靠性：减少了人为错误，尽量降低了风险；Ø 敏捷性：可灵活地将存储作为服务来提供，将权力授予最终用户。WicknessØ 创新：一些产品面临陡峭的学习曲线才能够定制，以满足企业要求，可能需要与开发运维团队互动；Ø 集成：产品可能需要与其余SDDC工具集成起来；Ø 灵活性：需要为新的存储解决方案和SDS制作并维护一个兼容性支持矩阵。Suitable