不容错过的数据迁移讲解
世界工厂网线上生态学院 不容错过的数据迁移讲解通常来说企业要进行数据迁移是因为他们目前的数据量已经突破了他们的托管能力,他们需要考虑的是如果不进行数据迁移,会发生什么,从某种意义上说,这样的情况下,计算数据迁移的益处会相对更容易,这样既节约了成本,还提高了性能和改善了企业的人员结构。一、数据库的平迁或异构数据库迁移1.数据库平迁,即为了性能扩展需要从一台服务器迁移到另外一台服务器上,用数据库的导出导入或备份恢复工具处理即可,当然也要考虑迁移后的一些序列字段的初始值。2.异构数据迁移,即从一个数据库平台迁移到另外一个数据库平台,用ETL工具或SQL均可实现,不过要注意业务逻辑的迁移,即存储过程、函数、触发器之类的二、数据分类1.基础数据通常这一类容易迁移,数据格式简单,不过会影响所有的相关业务数据,关注点为数据的主键和唯一键的方式。2.纯历史数据的导入这是一类仅供参考用的数据,导入比较容易。又分为纯历史数据和流程性历史数据。前者一次性导入即可,后续可以采用增量数据导入。只有在记录完全关闭后才能结束,需要进行增量导入和数据更新,同时还要进行相关查询界面的开发,以保证旧有数据能够在新系统中查询的到。3、新老系统表结构变化较大的历史数据 这一类数据的工作量是最重的,就需要仔细去研究新老业务系统的数据结构了。需要收集齐全相关原系统的相关设计文档,这一点对数据分析很有帮助,通过人的感觉和对数据的观察来分析是不严谨的。 2、在原系统上进行相关数据的观察,了解数据的变化和数据表数据的关系(对于比较难以理解的相关字段很有帮助) 3、比较新老系统数据的差异,如果实在很不靠谱的话,可以按流程性历史数据处理。三、系统设计1、做完系统分析之后,对相关数据进行归类,基础数据、纯历史数据、变化较大的历史数据2、先从简单的入手,给自己点信心3、在excel表中进行相关表的数据字典对照,勾画出对应字段、转换逻辑、依赖关系、必要时在新系统表上做相应的冗余,等数据迁移完毕后再清除。四、系统实现1、PL/SQL或T-SQL,DTS、SSIS或者PowerBuilder的管道作为数据迁移的方式2、相关业务逻辑的迁移,与数据完整性和业务相关的存储过程、触发器、函数的改写,甚至SQL的改写总结:数据迁移的每个项目和任务都是一次全新的未知的挑战,只要凭借丰富的经验和不断的演练才能保障网站的数据在生命周期管理期间有更好的明天。世界工厂网线上生态学院:制造企业开展线上业务的加油站