数据迁移二三事

世界工厂网线上生态学院 企业数据迁移二三事当旧的网站不能为企业发展做贡献什么组织企业前进时候，需要进行不要的升级改版甚至是重新建站。那么旧的网站数据又不能完全摒弃，这时候需要进行数据迁移，简单来说也只有三步操作：数据收集、数据转换、数据导入。进行数据迁移技术上主要是通过SQL、存储过程、甚至游标来实现，优先级也是。一、数据收集出现问题在动态数据的收集上通常会存在的一个问题就是数据存在差异且信息混乱。前端业务的不规范操作，会导致原系统中存在业务数据不一致的情况。因为新旧系统之间也存在着规则差异，在数据收集上来后，并不能立即就导入新系统，所以数据迁移的工作还需要进行数据转换。二、数据转换数据转换包括数据编码的转换、字段逻辑的转换。新系统通常有自己的一套规则，可能与旧的系统制定同样的逻辑，但也可能完全变了个样。所以在数据转换之前，需要先了解旧系统与新系统之间数据逻辑的区别，以及旧规则与新规则之间的联系。只有找到这个联系点，才能进行准确的转换。三、系统分析1、分析原有的业务系统精确到大致的系统功能模块、大致的处理流程即可2、分析现有的业务系统精确到大致的系统功能模块、大致的处理流程即可3、分析两者自己的区别和差异大致分析一下两个业务系统之间的区别，有助于确定工作量和工作进度4、分析用户对旧有数据的需求分析对旧有数据的需求，才不至于盲目的全部性的进行迁移5、分析用户对旧有数据的处理规则由于转换工作比较麻烦，建议在收集数据前，可以先确定好导入系统的模板字段及字段的定义，便于提前做好准备，比如从旧系统导出的模板可先按导入模板做好整理，减少后期的转换量。四、数据导入数据转换还只是基于模板和规则的转换，我们并不清楚是否真的转换正确了，是否真的能在新系统中进行应用。所以在导入新系统之前，我们要对数据进行测试环境的模拟导入。模拟导入会暴露导入数据的问题：格式有误、编码错误、表间数据缺失等情况，这个时候数据就得“回炉重造”了。当数据调整之后再次模拟导入时，系统没再报错也不能掉以轻心。成功导入只是第一步，我们还需要考验导入的数据是否真的能应用。动态数据的导入，需要验证其准确性和应用性，提前了解数据的应用场景，经过上下游验证的数据才能真正导入正式系统。总结：数据迁移应该做到提前计划，周密准备，多多了解，完整验证。世界工厂网线上生态学院：制造企业开展线上业务的加油站