金融软件的自动化测试探索与创新.doc

金融软件的自动化测试探索与创新之路作者：周永红 张彦祥来源：《中国金融电脑》 2018年第1期在互联网技术日新月异和金融科技快速发展的新常态下，如何在快速响应市场需要的同时 保障金融产品运行的安全稳定, 将是金融机构产品研发部门面临的重要转型课题本文试图通 过总结工商银行开发中心自动化测试实践，结合持续集成技术和敏捷迭代思想，对金融软件测 试的集约化转型方向进行探索一、自动化测试体系的定义与内涵自动化测试是推进研发测试转型的基础，各团队在探索实践过程中，通常会面临诸多共性 的问题，例如：脚本资产能否重复执行和复用，运维成本如何控制，技术支撑是否配套以及自 动化成效如何衡量等等造成这些问题的原因看似复杂，但归根结底是由于没有清晰的脉络体 系，导致自动化测试的推进之路充满挑战概括来说，有效推进自动化测试应遵循“以人员和技术为基础，以管理为核心，以提高资 产质量为目标”的原则营造良好的自动化测试生态，必须首先从人员建设入手，一方面改变 测试人员能力认知，促进其编码和测试技能的提升；另一方面营造氛围，提升自主、创新意识 其次从引导和激励员工自主自发地创新测试思路入手，研究开源工具，研发适用于各类产品线 的自动化测试框架和工具。

人本、包容和灵活的管理方式是核心保障，包括合理的组织结构、 科学的激励机制和持续完善的流程规范等，聚焦积极自主的文化培育，并通过以上途径最终达 到提升脚本质量、积累资产的目标，构建并固化组织级测试体系如图1 所示管理者可从人员、技术、管理和资产四个维度发展的不同层级，区分每个团队的成熟度水 平，从而指导组织级发展路径为此，开发中心尝试创建“自动化测试成熟度水平”模型理论(Automatic Testing MaturityLevel, ATML)在ATML模型中，成熟度水平可分为：可重放 级、可复用级、可管理级和卓越级不同的层级代表着相应的自动化测试的发展过程和各类人 员的技能成熟度，体现了各类标准化体系建设的完善性ATML模型与成熟度水平定义见表1 1 ATI*.saw叭nAH1Ili^Mj社 SK-Wfl UH! fiEl-rATML 是基于自动化测试体系标准化、规范化建设而提出的一种理论模型，其核心价值理念 是：技术引领测试，全面提升效率，助力“打造国际一流的金融软件开发中心”战略目标的实 现二、开发中心自动化测试发展历程 开发中心自动化测试探索之路，主要经历以下四个阶段1. 可重放级——自动化测试起步阶段 该阶段的自动化测试工作主要有以下特点：管理上并未形成完整的测试自动化标准和体系； 工具上依赖于业界商用的录制回放工具，覆盖界面以(UI层)应用系统为主；技术支撑上主要 依赖外公司的服务；脚本资产仅处于可执行水平。

可重放级基于业界主流的企业级软件(RFT)进行录制回放模式的自主探索，测试开发工程 师在录制工具的原理、问题跟踪分析以及脚本稳定执行等方面进行技术研究和支持其优势在 于门槛相对较低，无须掌握编码能力，录制后的代码可以直接用于回归测试2. 可复用级——自动化发展阶段 录制回放模式的脚本复用性、移植性和稳定性较差且维护成本高，长期来看不适合大量及 大范围地铺开自动化测试因此，开发中心借鉴基于RFT关键字封装的研究成果及SELENIUM 执行引擎的开源社区的共享资源，在2012 年自主研发了开放平台的自动化测试框架(Watchman 1.0)Watchman采用了 “核心(Core)+组件(Module) ”的架构模式，以满足多元 化的自动化测试需求，如图2所示经过多年的积累和发展，Watchman目前已升级至3.0, 广 泛应用于界面测试(B/S, C/S类系统)、批量测试、接口测试、存储过程测试及移动端设备等 类型的自动化测试APICiu.udl1 .■—McbilcGLard 匚 r |j|_—开发中心通过Watchman框架设计的自动化脚本具有如下特性:（1） 支持高度构件化及快速复用。

通过对登录、选客户、选地区等公共方法的抽象，实现 了构件在脚本间的复用，既可提高脚本产出效率，又极大地降低了维护成本构件化程度越高， 收益越明显2） 支持脚本与数据分离通过多个环境的数据准备完成同套脚本的调度执行，具有较强 的环境可移植性与执行稳定性3） 模拟人为操作的高度灵活性，例如，可以任意控制输入域操作顺序4）建立脚本的版本化管理与统一调度机制利用Jenkins工具，从版本分支中拉取对 应分支构建执行任务，实现各环境的自动化调度执行除了自动化框架上取得突破外，开发中心在管理上持续推进案例标准化和规范化等测试理 论体系建设，并将案例设计体系落地至案例标准化设计子系统，实现了案例设计与自动化测试 的有机融合该阶段内，开发中心基本实现了框架与工具的自主研发，拥有了完善的测试理论与规范体 系，并组织完成了制度保障体系和专职的测试开发工程师团队的建设开发中心团队在测试任 务中主动思考问题，分析难点，引导运用技术开展高水准测试，逐步培养了基层测试人员的自 动化理念经过不断完善，可复用的组织级测试资产库逐步建立起来，实现了共享和复用3. 可管理级——管理提升阶段科学评估组织中每个团队的工作成效和水平是测试转型可持续性的管理关键。

但随着脚本 的增长，相关运维成本逐步提升，管理难度日益增大为此，开发中心于2016 年启动基于量 化评价模型的策略研究工作，构建了量化评价模型理论体系，形成了系统性的自动化测试评价 标准，自主研发了自动化智能调度体系及量化评价模型的自动计算平台（MMET）该阶段的实 践简述如下:（1）自动化量化评价模型的策略研究与运用结合业界理论模型，通过大量调研与研究， 开发中心构建了人员、脚本、覆盖和工具四大维度的综合评价模型高质量脚本应执行稳定、 高效，断言丰富、精准，拥有较强的环境适应能力；覆盖的完整性应体现实施范围广的特性； 人员自动化技能应涵盖人员参与度、自动化意识和脚本设计与编码能力；工具管理成熟度体现 在团队对工具或者框架的改进与创新等方面基于以上维度，开发中心设计了指标体系，如图 3 所示为更加精准、高效和客观地评价各团队，开发中心同步完成了 MMET 自动计算平台的设计 与研发，实现了案例执行明细、覆盖率信息的自动采集和基于明细的结果自动计算功能，如图 4 所示结合大数据采集分析，实现了自动化团队的快速评价，如图 5 所示1劝化应打嫌宰㈱种珂翔仇惟.厦人担壇可城力•:y丄』曲的有处性菽府:Bru单坏樓郎冒挣戟舱力 框舉”甘虜占二—卞k 沏£ 日对优W1臥的愉■［达h型丈时巫tK「戡卒貝应莅由Ktv< \量化评价模型可以有效地衡量各团队自动化建设成效，促进了测试团队自动化水平的提升 为整体的自动化测试过程和目标管理提供了帮助。

2）自动化智能调度体系的应用为了降低自动化测试运维成本，开发中心自主研发了自 动化智能调度体系, 内容包括以下几个方面① 运行时环境检测预判环境是否可用，避免无效调度② 失败案例智能重跑对因应用环境、执行机不稳定导致的自动化脚本实现自动归类并即 时重跑，提高成功率③ 失败案例归因分层分类通过设计执行报错日志的关键字信息分类模型，实现环境问题、 脚本问题等自动归类，减少人为分析成本④ 自动化冒烟测试通过版本变动程序清单，在程序与案例对照关系库中自动匹配自动化 脚本，实现针对性调度执行，提高守护的精准度3）加强技术团队建设，建立测试开发工程师专职团队为持续完善框架和工具，顺利推进自动化工作，开发中心建立了专职测试开发工程师阶梯团队，如图 6所示r I禹述开虜l'.feSrFI m・兀贞『1命化柿；衆谡il・可行1 〔声趾a-位啦轻撰Pr忖时姿.AtfeA动件工孔需求*蓟皿向端ItJ吧帕丹U・冀«E・丿HRB 禹斌开该阶段，团队在自动化管理上具有了方向性和目标性组织保障体系上，专职测试开发工 程师梯队目标统一，角色清晰，技能互补遵循“主动创新、追求卓越”的理念，紧跟业界发 展方向，不断推进自动化方法论的研究和测试工具的创新。

截至2017 年第二季度，开发中心 累积的自动化案例资产已达7.4万个单元（UT）、接口服务（Service）与界面（UI）比例 逐步向业界标准金字塔型靠拢，如图7 所示针对界面类应用系统，自动化手工替代率平均在35％以上，重点应用达60％以上对于接 口服务型应用系统，自动化手工替代率平均已达80％以上，包括银证系统、代理国库等，其中 重点应用手工替代率达95％以上，如主机查数平台等在后续测试中，基于前后端分离的技术 架构转型思路，高性价比的接口服务层自动化占比将更高在先进理念的影响下，员工逐渐从“要我变”转向“我要变”，通过开源和自研等多元技 术的结合，员工自下而上地在创新技术研究、框架与工具设计和测试设计等高阶及高价值领域 上多点开花，越来越多的人力从低价值的工作中解放出来4. 卓越级——自我完善阶段在这个阶段，组织重点关注生态的完善和持续改进以及测试案例的质量、覆盖水平和工具 的升级开发中心通过自动化脚本资产积累与完善不断提升测试效率与产品质量，进一步完善 和丰富了自动化案例，实现持续改进，如图8 所示该阶段的团队具有充分的技术测试意识和精湛的工具研发能力，测试理论与自动化测试高 度融合。

各类体系的建设已经充分体现战略目标的设定，团队的测试技能完全处于业界领先水 平，并能顺应各种技术变化与转型质量控制方面，除了能有效控制和度量质量外，整个测试 过程被高度信任，具有驾驭软件开发周期各阶段质量的能力目前，开发中心也正向该阶段积 极努力迈进三、未来展望金融科技的崛起为银行业发展带来了众多的机遇与挑战，给开发中心的未来带来了更多的 可能其中云计算技术将解决环境和数据的困扰，让测试工作更加高效便捷；人工智能与测试 技术的结合，智能测试机器人将设计自动化成为可能；大数据技术使智能化分析成为可能 “人”是创新之本，同时，开放包容的良好环境基础必不可少，只有不断坚持以创新驱动为导 向，坚持培育适应变化及不断完善的卓越生态，才能在未来的发展中立于不败之地。