API测试在智能化测试时代的探索与实践

1、API测试在智能化测试时代的探索与实践,1,百度API测试平台发展背景,2,ITP通用接口测试服务,摘要,3,测试智能化实践及收益,4,总结与思考,ITEST,2011: Python开发代码测试框架， 用于功能测试自动化书写， 环境准备、Mock及测试执行 广泛应用于商业平台检索端 及大搜索等产品,Robot+,2012: Java开发代码测试框架， 配置化管理用例， Junit驱动测试执行 曾广泛应用于商业平台 业务端产品,业务线自建平台,XTS,2014:,支持场景单一、各异 公共问题被重复解决 易用性和使用效率低 资源占用多 技术探索难以落地,2015: 基于Robot升级， 关键字封装 广泛用于手百等 用户产品测试， 后续融入ITP中,ITP,2015: 基于ITEST底层，集合各产品测试规范， 可视化用例开发与执行平台,12万,积累用例,10万次,日均测试量,43,覆盖部门,205,覆盖产品,百度API测试平台 从百花齐放走向归一,ITP通用接口测试服务,ITP通用接口测试服务 - 能力概览,HTTP/Socket/JsonRpc/Stargate/Protobuf/Mcp

2、ack/Dubbo ,X,API测试,测试类型,在线IDE,浏览器插件,序列测试,Diff测试,原子操作,API,Mysql,ES,Redis,Shell,参数传递,特性支持,扩展函数,数据驱动,质量评估,度量驱动,行为分析,用例检测,登录管理,连接池管理,序列化协议,传输协议,服务总线寻址,API入口,Mongo,ITP通用接口测试服务 用例组织与编写,用例树： 允许最小子目录粒 度并发执行， 支持单一环境测试 及多环境Diff测试,Operation： 定义具体的操作， 包括API请求，Mysql、Redis、 ES、Mongo访问，执行远程机器命 令,参数传递： 支持Setup、Teardown及同一 个Case内所有操作间传递数据 $操作名.response.a.bx,全局参数： 支持按用例树目录的多层 级参数配置，可使用传递 参数和扩展函数,扩展函数： 支持通用及产品线自定义扩展 函数，函数内可引用请求相关 参数，可与传递参数、其他函 数嵌套使用 $ method(arg1,arg2),数据驱动： 替换参数占位符，如 $abc, 设置多组执行 数据，实现用例的数据 驱动执行,

3、复制与引用： 允许从已有请求复制 允许从模版复制或引 用 Step： 用于长流程时，组 织一组有业务意义 的组合,版本控制： 支持用例的多版本 控制，拉取、合入 等,ITP通用接口测试服务 用例执行计划,计划配置： 包括环境信息、并发配置、重 试、用例筛选、用例集合等配置,版本管理： 选择对应的执行版本,ITP通用接口测试服务 检测与度量,用例检测： 支持通用规则的检测和自动修复,基本统计,能力评估,ITP通用接口测试服务 - 部署结构,Web-IDE,Web-IDE,分发器,分发器,Web-IDE,执行器B,执行器C,执行器A,执行器B,执行器C,执行器A,机房A,机房B,机房C,离线 执行包,Dataio,Dataio,业务DB,日志,内存数据库,Web,执行器,多租户，根据实际需要上线产品线执行器,ZK控制模块连接， 实现无状态节点,Admin-Monitor,用于私有化项目测试,1.节点在线情况 2.可用资源情况，用于动态调度 3.异常恢复,内存数据库,Thread Group,测试智能化实践及收益,智能化测试时代的新挑战 极致的成本与效率,现状： 稳定性、效果损失。激增的用例

4、数，维护不及时， 都带来流水线的稳定性问题，并进而导致效果可信的问题， 形成恶性循环,现状： 发布周期：周期和质量保障手 段是矛盾双方；大批量用例的 执行，在流水线中的时间占比 越来越高,业务诉求,现状： 保证高覆盖、高质量用例的前提下， 用例书写和维护成本变得不可接受， 自动化设计成本与书写成本, 占用QA过多人力，20%50%,高质量,高效率,低成本,智能化实践 用例书写效率提升,API模版,1参数类型与约束规则识别,识别器,参数组合计算,Case,数据逆向生成,参数流量聚类,参数对象组合信息、参数约束,输入：参数约束,输入：前置的参数组合,2,3,输入：生成数据准备,API信息识别,识别访问地址等基本信息 识别参数类型，特别是枚举类型 的识别，寻找可能的取值 识别参数的分组信息 实时同步与变更提醒,用例的生成 计算最大入参覆盖的用例组合 改进：计算过程中，考虑日志中聚类 得到的参数组合 改进：计算过程中，考虑参数分组， 避免生成大量无业务意义的参数组合,SetUp&TearDown生成,识别Restful接口中的 Add/Delete操作， 自动生成数据准备 基于SQL逆向生成，

5、 生成数据准备,智能化实践 用例书写效率提升 算法,日志,归一后日志,约束规则,Top结果集-TT,组合权重,分组A 权重,分组B 权重,分组C 权重,权重信息,预置组合,分组A,PSST,t-Ts-A t与Ts已有解均不重叠 （回溯法）,补全Ts-A，未覆盖的两 两组合（贪心）,分组B,分组C,加入初始 Ts-A,TT-A - Ts-A 初始化解空间Ts-A,从Ts-A中去除TT-A,结果集TT+Ts,单原子组合Ts,树状组织 数组打平,值替换,用例代码映射数据更新 生命周期运转,智能化实践 用例执行选择,基准用例库,用例库C,用例库C,执行用例集合,用例相似度精简,用例生命周期管理,1,基于代码diff用例筛选,新增用例准入,2,3 代码变更相关用例,去除不稳定的用例,去除覆盖重复的用例,过滤不规范用例 映射关系入库,智能化实践 用例选择执行 - 生命周期,New,Stable,Unstable,Death,持续失败,一次失败 执行准入 多次成功,自动检测,用例生命周期：准入,智能化实践 用例选择执行 - 代码与用例关系,任务控制服务,ITP,Kirin,算子,被测服务,覆盖率,稳

6、定性,算力 海川,iCode（Git）,exec文件,1)触发收集单个用例覆盖率数据,2)向被测环境发请求,3)生成单个文件覆盖率中间文件,4)获取与被测环境对应代码版本,5)离线并行生成覆盖率文件,6)上传到HDFS,7)向麒麟提交计算任务,8)获取覆盖文件后， 提交到川平台计算去重 HDFS,执行时间 实现中,智能策略中心,覆盖率文件 用例与覆盖率对应关系,Setup,校验点请求 Teardown,智能化实践 用例执行选择 CI流程变化,RD,iCode （GIT）,CI脚本,Server端,报告,ITP 计划,全量用例,用例/代码 映射库,Agile 插件,关联用例集合,ITP 计划,ITP_DB,变更代码,commitId & 主干最新commitId,commitId,客户端,修改计划并触发,应用生命周期,获取用例集合,生命周期管理,用例相似度精简,映射关系生成,过滤筛选后集合中 重复和不稳定用例,引入用例智能化,原有方案,形成用例侧生态闭环,与构建系统用例生态闭环 用例相似度精简自动运转 用例生命周期自运转 用例和代码映射入库闭环, 为基于代码变 更筛选不断积累数据，也为精准测试不断 提供基础数据 可扩展性强 策略与框架侧解耦，具备较强的可扩展性 与构建系统无感知衔接感知衔接,智能化实践 用例执行选择 收益效果,稳定性从Q2初60%提升到80+%,更少的时间投入，更多召回,智能化实践 流程类测试优化,转换为有向图,用例信息,深度遍历获取路径,相似操作以队列 形式附加保存， 并记录与后置请 求的对应关系,可优化建议（居多）,自动优化（实现中）,直接优化执行顺序,前置操作完全一致 前置为写、后置为读操作,总结与展望,用例,生成,用例,执行,参数生成： 依托算法，和信息补充，生成覆盖全面，具有业务意义的入参组合,断言生成： 空缺，是否可以基于项目历史数据，生成可能的断言,数据准备： 1.生成前置请求模版 2.Sql逆向生成,寻找稳定、高质量、无重复的用例 寻找紧与本次变更相关的用例 进行中：结合静态调用关系，发现Dom类语言变更与用例的 关系,流程类测试执行路径去重与优化,

《API测试在智能化测试时代的探索与实践》由会员nj****e分享，可在线阅读，更多相关《API测试在智能化测试时代的探索与实践》请在金锄头文库上搜索。