数据迁移规范

数据迁移规范如何在不干扰现有业务的基础上把这些内容数据从一个系统迁移到另外一个系统，如何做到无缝迁移，并且在迁移的过程中保证数据的完整性，兼容性以及数据的安全？这样我们就需要一个系统的迁移方案。本文介绍了从分析-设计-实施-系统切换的内容数据迁移流程和规范。其中分析主要从源系统，现有业务逻辑，以及目标系统的分析三个方面进行。实际包括目标系统的设计和迁移计划的设计。实施主要包括，搭建目标系统，实施迁移以及对迁移数据的清点和对账。系统切换主要指新老系统的切换以及老系统的退役处理。一、源系统分析为了确保新系统能够完全兼容现有系统的业务需求，确保现有业务逻辑不被数据迁移所干扰，我们需要对现有系统进行详细的评估和分析。并且制定详细的文档信息，表格模版。主要包括如下：1、现有系统的技术以及业务负责人，我们需要搜集整理这些负责人的职务，联系方式，主要负责的应用程序等信息2、现有系统架构3、现有系统的数据模型4、现有系统的软硬件信息5、现有系统的安全策略6、现有系统的业务流程7、现有系统的服务质量，问题或缺陷二、目标系统分析设计如同源系统分析一样，我也需要对目标系统进行详细的评估，分析和设计。并且制定详细的文档信息和文档，表格模版。这些文档信息主要包括：1、目标系统的技术以及业务负责人，我们需要搜集整理这些负责人的职务，联系方式，主要负责的应用程序等信息2、目标系统架构3、目标系统的数据模型4、目标系统的软硬件信息5、目标系统的安全策略6、目标系统的业务流程设计可以参考现有系统的业务逻辑，并进一步分析业务需求对现有业务逻辑进行升级改进。7、目标系统的服务质量，问题或缺陷，可以参考现有系统。三、迁移调查在对源系统和目标系统进行了详细的分析和设计后，我们就需要着手创建详细的迁移实施计划，一个迁移项目的成功与否，关键在于确保迁移前后业务产品的持续性和可用性。因此在制定计划前，我们需要进行一些深入的调查工作，如：1、调查应用程序之间的系统依赖性。2、调查数据的类型，以及类型之间的数据依赖关系3、源系统和目标系统的时区关系4、调查源数据和目标数据的映射关系5、调查源系统和目标系统的文件系统6、调查源系统和目标系统的数据传输参数7、调查源系统和目标系统的安全策略四、实施迁移：1、分析分析数据容量，数据结构，数据有效性。2、迁移前数据清洗在数据导出之前，基于源系统对数据进行清洗，塑形。3、数据传输-把加密硬盘上的数据上传到目标系统上。-通过目标系统的接口将源内容加载到目标系统，并进行详细的日志记录。-加载过程中的异常处理和日志分析4、加载后数据转化在目标系统上，对加载后的数据进行更详细的数据分类整理。5、对账用报表系统对迁移前后的内容进行对比，并产生详细的报表数据。五、数据清点和对账1、数量统计根据日期的数量统计更具文档类型的数量统计2、异常情况根据业务逻辑列出所有的异常情况，并对异常情况下的内容进行统计。例如：在一个HR的内容管理系统中，每个员工都必须有身份证复印件的内容文件。这样在报表中我们就需要统计出没有身份证复印件的记录。3、随机检测在新系统中随机抽取一定数量的内容，和老系统的图片，文档，元数据进行比较。在老系统中随机抽取一定数量的内容，和新系统中的图片，文档，元数据进行比较。六、系统切换为了减少对业务的影响，保证业务系统在迁移过程中的服务质量，我们还需要选择最适合系统业务的系统切换方式。通常我们有3种系统切换方式：1、直接切换在确保新的系统运行准确无误时，在某一时刻终止源系统，启用目标系统。这种转换方式费用低，方法简单，但风险大。2、并行切换源内系统和目标系统并行工作一段时间，在确保目标系统运行准确无误时，替代源系统。这种转换方式有利于减小切换压力、安全性较好，但费用高。3、分段切换即直接转换和并行转换的结合，分阶段将系统的各个子系统替代源系统。这种转换方式安全性较好，但费用高。