数据仓库模型开发流程

2019/8/1数据仓库模型开发流程Tony2019/8/1模型建设范围数据源•内部集市•外部集市•最终用户•逻辑数据模型•保留详细交易数据•面向关键主题域•3NFHAIER-LDM数据仓库•面向业务分析主题•汇总数据•StarSchema建模•视图•面向业务应用数据模型•完整的历史明细数据•定期备份清理•不直接面向仓库支持应用S区B区模型层M区汇总层A区ODS2019/8/1模型建设方法过程定义现有模型满足度及差异分析源系统分析逻辑模型设计逻辑模型物理化模型实施模型验证及调优数据需求分析Entry7个过程过程可定义迭代开发人员专业分工数据架构师业务专家数据建模人员模型实施人员2019/8/1Step1:数据需求分析现有模型满足度及差异分析源系统分析逻辑模型设计逻辑模型物理化模型实施模型验证及调优数据需求分析Entry过程的入口需求发起的方式应用驱动数据驱动模型优化2019/8/1Step2:模型满足度及差异分析现有模型满足度及差异分析源系统分析逻辑模型设计逻辑模型物理化模型实施模型验证及调优数据需求分析Entry模型满足度的分析基于明确的需求范围定义工作方法简化2019/8/1Step3:源系统分析现有模型满足度及差异分析源系统分析逻辑模型设计逻辑模型物理化模型实施模型验证及调优数据需求分析Entry源系统的业务流程理解源系统的数据规则理解源系统的数据质量评估方式源系统资料的学习业务培训业务专家的交流字段级的分析取舍的策略定期更新源系统分析报告2019/8/1Step4:逻辑模型设计现有模型满足度及差异分析源系统分析逻辑模型设计逻辑模型物理化模型实施模型验证及调优数据需求分析Entry逻辑模型的实体、属性的设计确定实体的主键、关联关系确定实体的加载算法新增、修改、拉链仓库标准代码的整理实施方式与数据架构师、模型专家的沟通模型设计评审影响性分析模型、ETL2019/8/1Step5:逻辑模型物理化现有模型满足度及差异分析源系统分析逻辑模型设计逻辑模型物理化模型实施模型验证及调优数据需求分析Entry物理模型实体、属性物理命名、字段类型设计性能上的设计考虑2019/8/1Step6:模型实施现有模型满足度及差异分析源系统分析逻辑模型设计逻辑模型物理化模型实施模型验证及调优数据需求分析Entry映射文档的填写和评审脚本自动化生成脚本的复查复杂脚本需要手工编写，脚本的编写及测试流程参见项目组的公共流程2019/8/1Step7:模型验证及调优现有模型满足度及差异分析源系统分析逻辑模型设计逻辑模型物理化模型实施模型验证及调优数据需求分析Entry准备工作数据情况统计、生产运行日志的分析模型优化的方面一般不涉及数据需求范围的变更2019/8/1