保险行业对象存储平台规划

保险行业对象存储平台规划目 录二、预期效果4三、风险揭示与管理6四、技术选型7五、方案设计8六、当前阶段10一、背景和原因 对象存储(Object Storage)，也叫做基于对象的存储，是用来描述解决和处理离散单元的方法的通用术语，这些离散单元被称作为对象。早在 2006 年，亚马逊推出 Amzaon S3(Simple Storage Service)，随后各大厂商均推出各种形态的类似产品， 均称为对象存储。当前，保险公司对海量非结构化数据的管理逐渐力不从心， 各方面的问题扑面而来：1、业务的需求。随着业务监管要求的明确以及业务量的增长，非结构化数据的访问需求不断增多，一个是存储的量，另外一个是业务并发的量。2、技术的需求。海量的文件数量，直接导致了检索效率的降低，从而影响业务体验。3、备份的需求。传统存储架构无法满足数据量快速增长带来的备份需求，备份效率低。4、容灾的需求。随着保险公司业务规模的不断扩大，分公司影像系统的单点架构风险太大，容灾能力差。5、成本的需求。随着分公司设备老化严重，传统存储的采购和维保费用高昂。面对上述问题，我们需要更加积极主动的优化非结构化数据的存储和管理，寻求技术上的革新，构建新一代存储架构，以分公司为试点，积极探索适合保险公司业务发展的新型对象存储平台。二、预期效果通过使用分布式对象存储架构替换传统的 IP 存储架构，能够解决海量非结构化数据的集中存储及访问问题，提升非结构化文件存取效率，解决分公司影像系统单点问题。分布式对象存储能够保证不丢失数据、不中断服务、提供良好的用户体验， 解决存储扩容复杂问题。由于分布式对象存储采用扁平化的数据组织方式，所以目录架构扩展性强，耦合性低，增删节点时所需迁移的数据少。整体而言，在业务系统、IT 性能以及运维方面都带了本质的提升。业务系统方面，当前分公司影像系统面临升级架构改造， 双录系统需求日趋增多，分公司对网盘的呼声也日渐高涨。通过采用对象存储，提升对海量非结构化数据的访问效率，满足影像系统和双录系统的需求，提升系统访问效率，从而使得系统能够高效工作，直接提升客户满意度。在访问效率方面，传统 IP 存储超过亿级文件后就会出现普遍的性能下降，甚至达到秒级响应。而对于分布式对象存储来讲，分布式的线性扩展能力使得超过百亿的数据访问依然可以稳定在毫秒级响应。在试验环境下，选择成本基本相同的 NAS 存储和对象存储，对 2000 万文件数量、128k 大小的数据进行测试，得出以下结果：NAS 存储7356 OPS<=5ms对象存储14159 OPS<=10ms对 10 亿文件数量、128k 大小的数据进行测试，得出以下结果：NAS 存储4800 OPS<=50ms对象存储11040 OPS<=20ms通过上述实验结果可以看出，对于海量小文件的检索，对象存储存在巨大优势。分析其主要原因，除了 NAS 元数据内容多且采用树形结构检索导致的访问速率慢以外，还有很大一部分原因是因为 NAS 存储目录层级。如果是三级目录，那么每一个文件的访问都至少会有三次目录的打开操作和获取权限操作， 加上最后的文件访问操作，客户端和服务端总计会有不少于四次的交互操作，而对象存储只需要一次。与此同时，分布式对象存储是基于 x86 平台硬件，对硬件无明显要求，使用通用的 x86 硬件即可，而传统存储则需要选购专用硬件。在同等质量和可靠性条件下，对象存储即使加上存储软件后的成本，较传统存储也有一定优势。整体结合运维、可靠性和扩展性等各方面的使用成本来考虑，TCO（Total Costof Ownership ）下降约为 20%以上。分布式对象存储对运维也产生了巨大的改变，主要体现在以下几个方面：设备老化替换、业务调整、扩容等带来的数据迁移无需通过专业的迁移工具或者迁移服务来完成，分布式对象本身即可通过分布式纠删、自动数据均衡技术完成数据从老旧设备到新设备的迁移，全程无需人为干预，可靠性强。以目前每年不少于 10 次、迁移数据约 3PB、总计约 15 亿文件的现状，全年整个迁移过程需要 300+人天。使用分布式对象存储后，预计可减少迁移工作 200 人天，效率提升近 300%。传统备份技术采用了逐个文件读取进行备份的方式，影像类业务的海量文件造成备份无法按时备份完成，恢复时间又过长的问题无法解决。对象存储通过底层复制技术化零为整进行备份，备份和恢复效率提升 10 倍。通过使用对象的多版本功能， 可以实现文件粒度的精细化备份管理。总体来讲，成本上节省了备份软件、备份网络的建设以及大量备份的容量许可，约合每 TB 节省 10000 元。对象存储中存储与服务器间半永久链接维护的消除，减少了由于半永久链接带来的 IP 地址变更、挂载路径的变更、版本升级的变更、负载均衡的调整等方面的不便。基于 HTTP 方式的对象访问方式，共享性和可维护性更好。三、风险揭示与管理作为运维部门，最关心的就是存储的可靠性、可用性、时延以及数据的一致性。那么在使用对象存储时，可能给我们带来怎样的麻烦呢？首先，应用改造带来的稳定性风险。如果将存储由传统的存储设备更新为分布式对象存储，将会涉及修改应用系统的存储访问接口。对于追求稳定性的存储来说，应用的任何修改都需要将其视为巨大风险，但是经过严谨的开发测试过程，该风险是可以避免的。其次，在改造过程中，需要将海量的历史数据进行迁移。对于任何一家想要进行对象存储改造的企业来说，其历史数据都是海量的。以某保险公司中等业务规模的省分公司为例，影像系统历史存量超过 50TB，且均为小文件。在实施过程中，遇到的最大问题是，在如何保证数据一致性的前提下实现数据的迁移。最后，对象存储使用的硬件平台为通用的 x86 服务器，降低成本的同时也带来了兼容性和稳定性风险。对象存储的线性扩展，虽然能够带来性能和容量的方便扩展，但是超大的集群也会带来巨大的系统性风险。因此，在任何架构面临改造时，都应该考虑清楚到底要什么，什么是能够接受的，什么是不能接受的。风险无处不在， 在风险和收益之间博弈，选择适合自己的才是最优解。四、技术选型结合保险公司现状，分析主流存储技术，选择适合自身业务发展的技术。因此我们分别对分布式文件系统、分布式 NAS、分布式对象进行分析对比。表 4-1 文件系统、NAS、对象优劣势对比分布式文件系统分布式 NAS分布式对象优势1、无需接口改造2、文件数量较少时，访问时延好， 适合计算分析性业务1、操作系统天然支持，没有兼容性限制2、无需接口改造1、支持广域的访问和数据共享2、具备精细化的多版本和高效的备份方案 3、海量文件下没有目录层级设 计，访问性能更好4、文件访问接口更丰富，不局限与数据的 IO 访问，可以更偏平化业务架构劣势1、树形的目录组织结构，文件越多寻址越慢2、一般还是依赖后端 SAN 存储，硬件上仍然没有完全分布式化3、一般部署于计算服务器上，过多的计算资源消耗和争1、树形的目录组织结构，文件越多寻址越慢 2、仅限于数据中心内访问，广域访问支持受限 3、存储与服务器间的 mount 链接限制了其共享性和海量链接能力需要应用侧文件访问接口的开发工作量抢4、针对海量文件没有高效的备份方案可选的技术路线太多，反而会让大家无所适从，不知道如何选择。对于公司的技术选型来讲，并不存在普适的标准，如果一定要定标准的话，那就是满足自身业务特点的需求。保险公司的影像系统改造、双录系统建设迫在眉睫，结合上述各存储技术的特点，最终选择分布式对象存储帮助改造分公司影像系统后端存储、双录系统存储建设。五、方案设计评价一个方案的好坏，一定需要结合具体业务，能够解决当前问题，满足业务需求才是关键。通过对分公司影像系统的现状梳理和双录系统的建设需求梳理，拟采用华为FusionStorage 6.0 进行方案设计。表 5-1 对象存储需求分析应用需求影像系统容量需求：以某分公司为例，目前影像系统的基础存储容量约为50TB，年增长率为20%。性能需求：影像系统中的文件数量约为16亿，文件大小大多为35KB，对于系统带宽的要求不低于80MBps,并发不低于10000iops,平均IO延迟不高于100ms。双录系统容量需求：以某分公司为例，按照每年100万单业务量进行统计，每笔订单200MB，业务年增长率约20%。性能需求：双录系统带宽的要求不低于80MBps,并发不低于10000iops,平均IO延迟不高于100ms。企业网盘以山东分公司为例，按照5000用户数测算，每个用户分配100GB空间，则存储容量需要攻击500TB。FusionStorage6.0 是华为公司自主研发的，基于 x86 通用硬件平台构建的具有极强扩展能力的分布式存储平台，该产品将 HDD、SSD 等硬件存储介质通过分布式技术组织成大规模存储资源池，为上层应用和客户端提供工业界标准接口，按需提供对象存储服务能力。用户只需要在标准 X86 硬件之上部署FusionStorage6.0 软件，即可获得业务所需的任意类型的存储服务，而无需提前采购大量的专用存储设备，实现存储服务类型免规划。图 5-1 对象存储部署拓扑图为了验证 FusionStorage6.0 能够有效支撑影像系统、双录系统和企业网盘，对 FusionStorage6.0 分别进行了全面的功能测试和性能测试。结合测试结果，就保险公司具体情况，确定其对象存储配置情况为：部件编码 型号 描述 总数 FusionStorage RA 主设备 02351PPYFUSTDMCF013V文件存储服务器-标准节点(2U,64G 内存,44TB,4*10GE,含中国电源线)302351PQAFUSTDMCF040P对象存储服务器-标准节点(2U,64G 内存,44TB,4*10GE,含中国电源线)3交换机及其组件 02318169OMXD30000光模块-SFP+-10G-多模模块(850nm,0.3km,LC)24安装材料 14130347N0DLCPC00光跳线-DLC/PC-DLC/PC-多模-10m-A1b-2mm-50mm LC24六、当前阶段通过对 FusionStorage6.0 进行通过性测试，55 个测试项全部通过，尤其是对象存储的基本功能、可管理性、性能、可靠性、多集群容灾和多集群的统一监控等都已测试通过，满足实际要求。在下一步中，我们将在 FusionStorage6.0 中部署影像系统数据，结合影像系统的业务场景，进行全面的功能测试和性能测试。