





成都很多企业在信创改造中最头疼的不是换操作系统,而是老旧系统里的数据怎么搬。良将科技为成都企业做过大量数据迁移项目,发现数据迁移的难点从来不是"把数据导出来",而是"导对地方、格式匹配、不丢不错"。老旧系统的数据库往往是十年前的老版本,表结构混乱、数据类型不规范、脏数据多,用普通的导出导入工具直接搬,十有八九出问题。选对数据迁移工具,能省掉一半的返工。
老旧系统的数据迁移,和新系统之间的数据同步完全不是一回事。良将科技接触的老旧系统通常有几个特点:数据库版本很老(比如SQL Server 2008、Oracle 10g),有些已经停止维护多年;表结构设计不规范,字段命名混乱、数据类型随意;数据质量差,有重复、有空值、有格式不统一的脏数据;业务逻辑埋在存储过程里,数据之间的关联关系靠代码维护,不靠外键约束。
这些特点决定了老旧数据不能直接搬。良将科技见过不少企业用最简单的方式——把旧库导出成CSV,再导入新库。结果呢?日期格式乱了、数字精度丢了、中文乱码了、关联数据对不上了,导完发现不能用,又得重新来一遍。所以数据迁移不是选个工具就完事,而是要先做数据梳理,再选合适的工具,最后做校验。
良将科技做老旧数据迁移通常分四步:第一步数据盘点,把旧库有哪些表、每张表多少数据、字段类型是什么摸清楚;第二步数据清洗,把脏数据、重复数据、测试数据清理掉;第三步数据迁移,用工具把清洗后的数据搬到新库;第四步数据校验,确认迁过去的数据一条不丢、内容正确。这四步缺了哪一步都容易出问题。
市面上的数据迁移工具不少,良将科技根据项目经验,把常用的工具分几类:数据库厂商自带的迁移工具、第三方ETL工具、自研脚本。不同工具适合不同场景。

达梦、人大金仓这些国产数据库,都自带官方迁移工具(比如DM DTS、KDTS)。这些工具的优点是和目标库兼容性最好,能自动处理大部分字段类型映射,而且免费。良将科技建议成都的企业优先试官方工具——大部分常见场景(Oracle到达梦、SQL Server到人大金仓),官方工具能覆盖70%以上的工作量。但官方工具的缺点是:复杂的转换逻辑(比如字段拼接、数据拆分)支持不够灵活,遇到特殊业务逻辑还是要自己写脚本。
对于复杂的数据迁移场景,成都可以用第三方ETL工具,比如Kettle、DataX、Flink CDC。这些工具的优点是功能强大——能做数据清洗、字段映射、多表关联转换,还能支持增量同步。良将科技为成都企业的大项目中,通常用DataX做全量数据迁移,用Flink CDC做实时增量同步。这些工具都是开源的,免费使用,但配置和调试需要一定的技术能力。如果企业自己没有这方面的人才,可以找服务商来配置。
有些成都的老旧系统,数据结构特别奇怪,现成工具搞不定,这时候就要写自研脚本了。比如有些系统的业务数据存在一张大表里,用字段名区分类型,迁到新库要拆成多张表;有些系统的金额字段存的是字符串,要转成数字类型;有些系统的日期格式五花八门,要统一成标准格式。这些复杂的转换逻辑,工具做不了,必须写Python或SQL脚本来处理。良将科技为成都企业的项目中,通常是工具解决80%的通用问题,脚本解决20%的特殊问题。
不管用什么工具,有几个问题都是要注意的,不然迁出来的数据用不了。
不同数据库的数据类型对应关系不一样。Oracle的NUMBER到国产库要对应NUMERIC,VARCHAR2对应VARCHAR,DATE对应TIMESTAMP。看起来简单,但细节有坑——比如NUMBER(10,2)如果不指定精度,迁过去可能变成NUMERIC(38),或者精度丢了导致数据截断。大对象CLOB/BLOB的迁移也容易出问题——有些工具导大字段时会截断,导致文件不完整。良将科技建议成都的企业在迁移前,把每张表的字段类型映射关系列出来,工具自动转完之后人工核对一遍。
老旧系统里的脏数据是最头疼的。常见的脏数据有:重复记录(同一个客户录了两次)、空值(必填字段为空)、格式不统一(有的日期写"2020-01-01",有的写"2020/1/1")、逻辑错误(年龄是负数、金额是负值)。这些数据不能直接搬到新库,要先清洗。良将科技的做法是:写脚本扫描全库,把脏数据找出来列成清单,和业务部门确认哪些要删、哪些要改、哪些要保留。清洗完再迁移,不然把脏数据搬到新库,后面查出来更难处理。
数据迁完一定要校验。良将科技通常从三个维度校验:表行数对比,确认每张表的记录数和旧库一致;关键字段抽样比对,随机抽几条数据逐字段对比内容;业务逻辑验证,跑几个典型业务流程看结果对不对。如果发现不一致,要定位是工具的问题还是源数据本身就有问题。数据校验这步不能省,不然上线后发现数据不对,回滚的代价太大。
选数据迁移方案要结合自己的数据量和复杂度。数据量小(百万级以下)、结构简单的,用官方工具直接导就行,一两天搞定;数据量大(千万级以上)或者结构复杂的,要规划数据清洗、分批迁移、增量同步,周期可能要两到四周。如果您成都正在做老旧系统的数据迁移,欢迎联系良将科技,我们可以先做一次免费的数据评估,帮您摸清数据质量和迁移工作量。