证券核心交易系统基于全闪存储架构设计实践.doc

证券核心交易系统基于全闪存储架构设计实践 1.概述随着证券行业的快速发展，产品与服务日益多样化，原有的交易系统无论在交易规模、时效性及系统稳定性方面都难以满足行业方面的需求中国证券业已经进入持续发展和变革的关键时期，伴随着一代又一代的IT技术革新，证券行业正朝着集约化、标准化、规范化的方向发展本文从证券行业技术发展现状为出发点，介绍了核心交易系统国内外发展历程结合证券行业的技术特点，提出集中交易的需求分析在体系结构中提出了四层架构的概念，将原来三层结构的中间件层,分解为应用服务器和通信服务器两层，整个设计具有先进性、高效性、可靠性、可扩展性、安全性、规范性、兼容性、灵活性、实用性等特点随着业务的发展，证券公司业务对IT的需求也越来越高，当前业务系统稳定性、可靠性、业务连续性面临严峻的挑战，同时数据中心不断增加的设备，和越来越复杂的基础架构，也给管理带来了一定的困难这就要求证券公司在设备的选择和使用上，要充分考虑到设备的特性能否满足业务的需求，而存储作为数据中心最为核心的基础资源之一，无论是在产品选择，还是在架构设计上，均对业务的运行起着非常关键的作用因此本文将对证券公司当前的存储架构及使用情况进行介绍。

2.存储行业发展趋势分析存储设备一直是IT基础架构的主要组成部分，存储的选择以及架构模式设计，对企业IT环境的稳定性以及业务连续性起着非常关键的作用，同时存储也已经成为了云数据中心构建最关键的组成部分从整体来看，未来数据中心存储发展趋势如下：- 越来越多的人选择全闪存架构随着闪存价格不断下降，分析和AI等工作负载性能的价值不断上升，同时由于闪存上的这些新工作负载提供了新的业务价值，再结合类似云的全新内部部署模型，全闪存存储系统将会有快速的增长所有主要存储工作负载，都逐步转移至闪存存储阵列上 “云化”存储这不仅意味着，存储设备将以分布式以及软件定义的架构模式快速发展，同时集中式光纤存储也是存储云化的一个重要组成部分，越来越多的集中式光纤存储设备开始对云数据中心提供更好的支持归根结底，存储的“云化”就是为正确的工作提供正确的存储，无论您如何部署云环境这一趋势仍将是多云和混合云架构的首要考虑因素 采用现代数据保护我们大部分人都认为数据保护就是能够进行备份和还原，现代数据保护远不止于此现代数据保护，专注于如何利用辅助存储数据集（备份、快照和副本）来支持企业发展借助现代数据保护，副本不再是一种负担，而是变成了一种优势，即企业可以将辅助数据集中用于DevOps、分析和测试工作负载。

自动化存储流程企业在数字化转型的道路上需要全面实现自动化，这就要求存储设备能够开发相应的API、自动化功能和自助服务，这有助企业打造真正的数字化商业，不仅是要满足存储专业人员的使用需求，同时对于DevOps和其他工作岗位也要具备一定的支持功能 整合人工智能AI预计将对各行各业产生影响，这是一个可与电的发明相提并论的巨大变革AI有潜力简化操作、加快流程和生产由于我们不断地通过AI进行学习，因此能更轻松地维护复杂的手动任务用于AI的存储，将对组织如何使用此技术发挥核心作用要享受 AI 的优势，企业的存储必须拥有最高的性能、可用性和可靠性AI 的核心要求，是全天候地对大量数据进行准确和可靠的处理，存储则是 AI 模式的关键所在存储技术和所存储的数据是所有企业的关键基础，同事也影响着整个企业的业务部门在当今的数据驱动型企业中，企业的数据需要可用、准确、可复用、受到保护且高效否则，企业可能无法高效地使用其最为宝贵的资产——数据3.业务系统对存储的需求分析1)业务连续性要求作为一家大型券商公司来讲，一旦业务系统所使用计算及存储等资源，出现故障或宕机，将导致公司业务的完全瘫痪，进而造成巨大的经济损失和对信誉度的影响。

因此在存储的选择与架构设计上，我们需要充分考虑存储的稳定性，以保证业务的连续性设计要求如下： 确保核心业务系统所使用的存储高可用； 确保业务系统所选用的存储设备，在相关行业内有大量的案例，并为稳定产品； 确保从存储、到主机乃至光纤链路，均为全冗余架构模式2)存储处理能力要求随着业务的不断发展，其业务对存储设备性能要求也越来越高，部分重要业务需提高存储层面处理能力，以满足未来3-5年的发展需要3)高效的运营与管理要求随着IT技术的迅猛发展，它们正在重新定义我们工作和生活方式，而且正在带来应用领域的革命同时随着业务的不断扩大，数据散落在各个应用系统数据集成度低，分布于不同存储、不同主机，数据质量参差不齐，数据整合性差，管理重复度高、难度大、数据可控性不够高，相应数据安全得不到很好的保障为了构建新一代的数据中心，存储的运营与管理显得越来越重要，因此企业需要构建高效便捷的存储环境，以满足业务需求4.存储产品的选择与设计思路证券公司存储设备的选择与设计架构设计，我们将从以下几个方面进行考量：- 实用性和先进性为了构建先进的数据中心存储架构，在存储设备的选择上，我们需要采用当前国内外先进的产品与技术。

存储是重要的基础设施，在满足当前需求的同时，还要兼顾未来的业务需求应该尽可能采用先进的技术、设备和优质材料，以适应高速运算、大信息量的储、高速数据传输、高实用性的需要，从而使整个系统在较长一段时期内保持技术的先进性，并具有良好的发展潜力，以适应未来经济发展和技术升级的需要 安全可靠性数据中心的存储设备也必须具有高可靠性，决不能出现单点故障要在架构、安全性、故障可恢复性等各个方面，进行高可靠性的设计和建设在关键设备、重要设备上，应采用冗余、集群等可靠性的技术 灵活性与可扩展性存储设备必须具有良好的灵活性与可扩展性，能够根据中心业务不断深入发展和需要，扩大设备容量、提高数量和质量具备支持多种网络传输、多种物理接口的能力，提供技术升级、设备更新的灵活性 标准化在存储设备的选择上，标准化是非常关键的对数据中心存储架构进行设计，严格执行国际标准和国家颁布的有关标准，包括各种建筑、机房、电信设计标准，电力电气保障标准，以及计算机局域网、广域网标准，坚持统一规范的原则，从而为未来的业务发展，设备增容奠定基础 经济性、投资保护应以较高的性能价格比，构建数据中心存储架构，使资金的投入产出比达到最大值以较低的成本、较少的人员投入维持系统运转，提供高技术与高效益。

尽可能保留并延长已有系统的投资，充分利用以往在技术方面的投入 可管理性对于具有先进管理模式的数据中心，各个设备的可管理性是非常重要的随着业务的不断发展，管理任务必定会日益繁重所以在数据中心的存储设计中，必须建立一套全面、完善的管理和监控系统所选用的设备应具有智能化，可管理的功能，同时采用的管理监控系统设备及软件，能够实现先进的集中管理监控、实时监测整个机房的运行状况，这样可以迅速确定故障，提高运行可靠性，简化机房管理人员的维护工作，从而为数据中心整体的安全、可靠的运行，提供最有力的保障5.各业务应用存储使用规划证券公司有多种不同类型的业务应用，因此产生的业务数据也有很多种类型，如果采用相同的存储方式，不仅无法满足各类不同业务的需求，可能还会存在一定的浪费情况在本项目中，我们根据业务需求选择合适的数据存储方式，根据各个业务的数据特性以及实际业务数据存储需要，参考行业主流的数据存储方式，对各类数据存储方式进行设计具体如下表所示：各业务应用存储使用规划参考当前业务系统架构情况，将当前公司证券业务系统的数据，按照类型的不同划分为：事务型应用数据、业务应用数据、低频/历史文件数据、虚拟机镜像数据、以及备份数据等多种不同的类型，然后根据每种类型数据的特点，以及访问频率等特性，设计未来的数据存储方案。

分别配备大型光纤存储、分布式数据库、集中式NAS、分布式存储、分布式对象存储、分布式文件系统、蓝光盘/备份设备等物理设备，以满足不同的业务需求6.证券公司存储系统架构实践基于当前证券核心业务系统遇到的一些挑战，对存储的性能、稳定性、高可用性等方面的提出更高的要求，以及云、大数据、移动互联网、物联网的等新兴技术的普及，经过严格的POC测试、多轮的技术选型和综合比较，采用华为OceanStor全闪存存储设备来逐步代替传统的HDD机械存储，来构建不同业务场景，为业务提供更低的响应时延，从而带给客户更好的交易体验6.1 核心交易系统架构核心交易系统是证券公司最重要的业务系统之一，为了确保系统的稳定性，以及业务运行对存储性能的要求，在该系统的存储设备选择上，采用了当前行业内领先的华为OceanStor Dorado 高端全闪存存储设备，该存储超强的性能及稳定性成为了核心业务系统长期稳定运行的可靠保证，其业务系统架构图如下：华为OceanStor Dorado 全闪存阵列凭借内置智能芯片、FlashLink智能算法和全系列端到端NVMe架构，前端采用业界领先的32Gb FC/100Gb NVMe协议，内部采用PCIe 4.0协议，后端采用100Gb ROCE协议，实现端到端数据加速，IOPS最高可达2100万，时延低至0.05ms；采用全新一代的ARM硬件平台和极致稳定的SmartMatrix3.0全互联架构，容忍控制器“8坏7”，配合AA双活的成熟高可用解决方案，保障核心业务持续；适用于任务关键型应用的现代数据中心，完全满足了我们对核心交易存储的高性能，高可靠性的选型要求。

华为OceanStor Dorado，用于集中交易、综合理财等核心业务系统的数据存储，取得了明显的综合效益首先是集中交易系统历史数据的批处理时间从5个小时缩短到3个小时，效率提升40%，历史委托明细查询与历史成交明细查询升级后的耗时由原来的68ms降低为23ms，耗时速度提升了近3倍综合理财生产数据库响应时间从5ms缩短到1ms以内面对前端君弘APP业务量10倍以上增长，在50万笔/秒大规模并发的查询的场景下仍保持着即时响应；其次，存储设备所占的机柜空间大幅减小：以往一台传统机械硬盘存储设备需要占用13U的机柜空间采用华为OceanStor全闪存存储后，仅需2U的机柜空间，空间占用减少85%，设备功耗降低71%，空调制冷大幅降低预估5年总体维护成本节省可达70%以上上线以来，华为OceanStor Dorado全闪存存储运行一直很稳定，加速了核心业务存储设备全闪存化的步伐新一代清算系统以及大数据IQ数据库等系统的存储，经过严格筛选，也采用华为最新一代的华为OceanStor Dorado全闪存存储经实测 ，最新一代华为OceanStor Dorado全闪存存储与国际某一线厂商同级别全闪存存储比较，性能提升2倍以上，而且可靠性也更胜一筹6.2 云化存储的架构实践数据中心云化是大势所趋。

云化能够实现IT基础架构资源池的标准化建设、异构资源池的集中管控与透明使用、资源的快速交付、云自助服务、大幅提升数据中心基础设施和基础架构资源的利用率、降低总体成本等诸多优势Dorado引入HyperMetro免网关双活方案，保障金融云平台7 X 24小时稳定运行，并满足实现以闪存为中心的数据中心现代化，及支持混合云的要求其整体架构如下图所示：在生产综合业务云，为确保云资源池的高可用，我们采用成熟的“商业版虚拟化平台+华为 OceanStor Dorado全闪存”的HyperMetro免网关双活方案来构建云资源池，实现了资源池的故障自愈同时采用乐观锁技术，减少了2个站点之间的IO交互，提高整体性能在数据层，虚拟化集群之间共部署了两。