如何进行数据迁移测试

世界工厂网线上生态学院 如何进行数据迁移测试数据迁移不仅仅是将数据从一个系统搬到另一个系统，还涉及数据分布、数据结构、数据标准等方面的变化。保证新老系统无缝切换的前提是保证数据的正确性，在进行新老系统数据迁移时首先需要保证所迁移的数量是一致的，才能进行后续其他方面的测试。一、 基础数据迁移测试1.数据迁移范围确定在进行数据迁移前需要和开发、运维等相关部门确认好数据的迁移范围，分析原有系统和现有系统的功能模块、大致的处理流程，分析两者的区别，以及历史数据对用户的影响程度等，确认工作量和工作进度，这样才方便确认数据迁移边界和范围，不至于盲目的全部迁移。2.数据表导出对于直接复制的表，可以根据“迁移范围确定”中的库名、表名、条数，通过Navicat工具以txt格式，分别导出对应的迁移前的老表和迁移后的新表。对于不是全表的数据，可以通过SQL语句选择需要的条数对于非直接复制的表，需要在Navicat中先用SQL语句查询到对应的迁移前的老表数据和迁移后的新表数据，然后再用txt格式导出。3.新老系统数据库表结构变化可以通过excel表格等方式确认相关表的数据字典对照，勾画出对应字段、转换逻辑、依赖关系等，必要时在新系统表上做相应的冗余，等数据迁移完毕后再清除；注意不同数据库的字段类型的匹配问题，比如SQLServer的text，在oracle应该对应clob，根据具体情况和实现的难易程度来确认具体做法；关于主键的问题，一致的数据类型尽量维持现有状态，不一致的尽量采用oracle的序列或sqlserver的identity int，但迁移完毕后，要注意序列值的更新。二、数据量一致性测试可以通过文本统计工具或者数据库连接工具将迁移前的数据库表名、字段、数量等进行统计，然后将迁移后的新数据库表名、字段、数量等进行统计，然后进行比较。通过MD5生成工具，对新老数据文本进行MD5值比对测试，如果一致则表示数据量一致，如果不一致，则表明迁移后的数据有部分存在问题。三、数据库表结构变化测试 这种测试分2种情况：一种是新老数据库表结构完全不存在关系，新数据库表的字段都是给定的默认值；还有一种是新数据库表字段是由原有系统数据库表字段转换而来。方法：针对第一种情况，因为新增的字段都是给定的默认值，所以只需要根据开发提供的填写规则，检查该字段的所有值是否满足填写规则。 针对第二种情况，可以通过编写自动化测试脚本或者人工抽样或者切片方式进行，具体的抽样选择根据数据量等具体情况选择合适的比例即可。四、业务逻辑测试完成上面的数据迁移测试后，需要在新的系统中进行回归测试，以确保迁移过来的数据是100%可用的。回归测试前需要和业务、开发确认哪些业务模块涉及了哪些表，然后根据具体情况，尽可能的提高测试用例覆盖率，做一次全系统的功能回归测试。总结：数据迁移测试是对数据迁移成功与否的准备与检验，数据迁移本身是一项繁琐的工作，迁移前的任何可能性考虑和繁琐的准备都是不过分的。世界工厂网线上生态学院：制造企业开展线上业务的加油站