数据仓库建设思路汇报

交通管理数据仓库及辅助决策系统数据仓库建设汇报提纲建设思路数据存储抽取思路仓库设计建设思路采用自上而下的建设思路。即先从数据集市入手，就某一个特定的主题先做数据集市，再建设数据仓库。数据存储-ODS业务数据库文本数据ETLODS各业务数据，根据数据分析，有选择性的通过ETL进入ODS数据存储-DWODS中的数据，根据数据集市设计，通过ETL进入DWODSDW数据质量标准数据应用规则数据简单变换数据复杂变化规则数据有效性验证数据清洗数据简单转换数据集成抽取转换装载抽取思路---策略抽取策略：全量抽取和增量抽取全量抽取可以采用完全抽取的方式，将需要的数据经过必要的转换全部抽取出来增量抽取是将自上次抽取后，发生变化的数据(新增、修改)经过必要的转换抽取出来。抽取思路---基本方案基本方案事实表抽取转换首次抽取实行全量抽取，然后一定周期内实行增量抽取，而增量抽取时;执行了一定周期的增量抽取后，原则上需要重新全量抽取一次，再执行增量抽取。无变化维表转换如果属性值发生了变化，抽取时采用更新的方式同步变化内容。缓慢变化维表转换1、覆盖（在维表中只保留最后状态的数据）2、全历史记录（在维表中保留所有的历史记录）仓库设计采用星型架构的维度建模法事实表维度表1维度表2维度表3维度表4维度表5层次1层次2层次3仓库设计事实表按照每个业务数据需要，存储主要的维度信息和度量信息，以及一些需要的描述信息。目前由于没有确定的需求，事实表是根据通用性来设计，即分析数据的所有可分析角度和可分析指标，全部存储到事实表中，分析时根据需要建立集市。事实表里，主键采用NUMBER型，维度表的代理键也全部采用NUMBER型。主要是为了数据存储时节省空间，也为了在事实表与维度表关联时加快速度。仓库设计维度表维度表为事实的各个分析角度主键，使用number型，作为事实表的引用外键。每个维度表的字段数可以适量的多，但是记录数尽可能的少。仓库设计度量每个事实的统计分析角度通过一定的计算得到的分析数值