EDW-(DM数据仓库数据建模)模型设计

整理文档很辛苦,赏杯茶钱您下走!

免费阅读已结束,点击下载阅读编辑剩下 ...

阅读已结束,您可以下载文档离线阅读编辑

资源描述

©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.Product|Application|Solution|ProfessionalServices|BusinessConsulting|OutsourcingBI.Insurancei.DWMforP&C模型设计说明张海彪©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.日程为什么需要模型模型的组织结构模型实施方法模型设计策略Q&A|©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.日程为什么需要模型模型的组织结构模型实施方法模型设计策略Q&A|©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.EDW体系架构源系统层ETL层数据仓库层ETL层数据集市层应用层展现层手工数据外部数据数据仓库保险数据模型核心业务财务系统再保险系统人意险系统精算系统客户关系管理OCRM客户讯息ECIF业务量分析数据集市业务持续性分析数据集市ALM数据集市财务分析数据集市车险承保分析通用承保分析风险管理应用ALM应用财务分析应用aCRM数据集市aCRM报告大客户分析管理系统aCRM引擎数据挖掘引擎数据挖掘应用企业信息门户企业统一分析平台元数据库监管报表管理报表运营报表仪表盘随机查询多维分析“数据和信息集成平台”“统一的分析平台”“唯一的信息出口”©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.为什么需要企业模型?数据集市之间数据一致性包含全部历史的核心数据一致的事实表和维度©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.EDW数据模型在项目实施中的作用DWM数据仓库模型BAM业务分析模型运营型业务系统数据仓库数据集市报表分析型应用XMLFileFlatFileInformixOracleSQLDB2BSA业务模版应用©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.日程为什么需要模型模型的组织结构模型实施方法模型设计策略Q&A|©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.模型总体结构-EM&DataMarts核心原子数据事实表和维度企业模型Party041PartyPlaceR214ContactPoint203Place007Object028ObjectPlaceRPlaceR238PlaceLabel823218366PartyName927926PLabelCPRPNameCPRPlace-CPR208CPR2041423营销管理快速入门客户细分和管理保险盈利性分析潜在客户管理数据集市导出业务数据模型映射指标要素需求模型财务报表数据集市中介绩效分析数据集市健康险盈利性管理数据集市©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.DWM数据模型逻辑结构当事人营销和沟通组织产品协议保险标的交易渠道资源与理赔相关的活动及各理赔环节理赔保险公司的有形资产和无形资产信息与客户之间资金或非资金活动的信息与客户交易或接触的渠道信息任何市场化的产品或服务和客户之间为某种产品或服务而设定的协议信息被保险的标的物及标的物的相关信息个人或团体及其基本信息和相关信息为增加客户、保留客户、拓展业务而进行的策略、规划或促销事件分支机构、部门和职员的信息地理区域,物理的或电子的地址信息地理位置与当事人或协议相关的一系列事件事件©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.BI.Insurancei.DWMforP&C底层数据模型主题域说明:Agreement:保单、批单申请及管理;Claim:理赔FinancialTransaction:应收应付、实收实付以及交易关联Party:当事方,包括当事方的组织结构、角色结构及类型MoneyProvision:资金管理SpecificationAndProduct:规范及产品管理Place:地点Code:标准代码Activity:活动管理PhysicalObject:实物、标的管理©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.BI.Insurancei.DWM-Agreement©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.BI.Insurancei.DWM-Claim©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.BI.Insurancei.DWM-PhysicalObject©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.日程为什么需要模型模型的组织结构模型实施方法模型设计策略Q&A|©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.表级映射字段映射实体、属性建模关联、属性建模SA建模需求划分多维建模使用模型、产生报表需求收集数据分析模型映射数据建模ETL前端提供需求及模版客户提供需求需求整理步骤:流程:产出:原则:需求文档:1.报表需求2.功能需求3.非功能需求1.目前的报表2.想做的报表3.想做的功能1.数据筛选清单2.数据源报告:3.数据质量分析报告4.代码清单Mapping文档:源-模型对应关系A筛选:去掉ETL需要而模型不需要的字段1.逻辑模型2.物理模型3逻辑物理数据元素对照表设计文档:1.Mapping流程图2.数据元素Mapping文档A:数据源报告:1.主要功能2.历史数据情况3.与其它系统关系4.联系人B:数据质量报告:1.数据类型2.值分布3.关联情况数据调查数据质量分析代码整理数据筛选B映射:1.映射到EM2.结合性能考虑3.结合实现考虑数据筛选:1.程序控制,计算,通讯,安全控制配置,日志2.汇总类结果一般不要3.可以由其它字段算出的字段一般不要4.从其它系统导入的数据不要.5.代码表不要。6.单纯的险种定义信息不要,但是具体保单中涉及的险种定义信息可以要。Mapping设计Mapping程序开发测试数据加载1.多维模型设计文档:维度指标派生指标2.需求-模型映射文档3.报表样张4.操作说明数据筛选:1.表一级筛选2.字段级筛选数据筛选:1.模型的数据筛选2.ETL映射数据筛选EDW具体实施流程©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.日程为什么需要模型模型的组织结构模型实施方法模型设计策略Q&A|©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.Hashcode问题的提出:进行增量加载时无法快速判断对表的原有记录是否新插入。例如:1.理赔案件发生的时候,增量文件会把保单数据也传来2.保单增量过来,可能只是投保人的信息改了,而目标保单表所需信息并没有改变解决方案:使用增量的比较字段生成Hashcode。在对表进行增量加载时,对增量文件中的每一条记录生成Hashcode将生成完的Hashcode与原表中同一anchorid并且最新的记录的Hashcode进行比较如果一致的话,即不动作;如果不一致的话,即新插入。使用示例:在individualagreement表中使用各个需要保留历史信息的字段生成hashcode。在增量加载时,使用业务增量文件中的字段生成hashcode。与Individualagreement表中同一agreementid的最新记录的hashcode进行比较。如果一致,即不动作如果不一致,则插入新记录。备注:relationship表是要根据业务去判断是否关系已经存在,然后,如果有其他属性(如:Roleplayer-PhysicalobjectRlship.Usage),才需要用hashcode判别是否重复。|©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.Hashcode字段组成规则带anchor的实体带status表的实体(Commercialagreement、Groupagreement、Individualagreement、Claimfolder、Elementaryclaim)除表的主键、typeid、Partitionkey、Status、Statusdate、Statusreason、Validfromdate、Validtodate、Effectivefromdate、Effectivetodate、Populationtimestamp之外的所有字段不带status表的实体除表的主键、typeid、Partitionkey、Validfromdate、Validtodate、Effectivefromdate、Effectivetodate、Populationtimestamp之外的所有字段不带anchor的实体原则上不需要保留历史,一般执行Update操作。如果有需要的,ETLMapping特别指明关联实体对于需要保留历史的关联类型,除Identifier、Partitionkey、Natureid、Leftanchoridentifier、Rightanchoridentifier、Leftentityidentifier、Leftentitytypeid、Rightentityidentifier、Rightentitytypeid、Validfromdate、Validtodate、Effectivefromdate、Effectivetodate、Populationtimestamp之外的所有字段|©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.Partitionkey问题的提出:在进行多表关联时,所涉及的关联表行数巨大,关联速度达不到要求。解决方案:在所有大表中建立Partitionkey,按照该键的键值对表进行物理分区。Partitionkey从Partitionconfig表中获得。分区策略是按照分公司进行分区。使用示例:表A与表B进行关联时,如下进行selectA.column1,B.column2fromA,BwhereA.foreign_key=B.Primary_keyandA.partition_keyin(selectStoragepartitionfromPartitionconfigwhereBranchcompanyid=xxxx)andB.partition_keyin(selectStoragepartitionfromPartitionconfigwhereBranchcompanyid=xxxxxxx)|©2007FEnetSoftwareCo.,Ltd.AllRightsReserved.|对保单和理赔状态的特殊处理问题的提出:-保单在承保和保全的整个过程中状态变化比较多,如按照IIW的原有设计,保单表中的会有巨量的历史记录;理赔在报案、立案和估损的整个过程中状态变化较多,如按照IIW的原有设计,理赔表中会有很多的历史记录。解决方案:-将保单的状态变化过程剥离出来单独建表,在该表中保留与保单的关联;当有新状态插入时,更新对应的保单表中的状态。-将理赔的状态变化过程剥离出来单独建表,在该表中保留与理赔的关联;当有新状态插入时,更新对应的理赔表中的状态。使用示例:-增加Commercialagreementstatus,Groupagreementstatus,Individual

1 / 60
下载文档,编辑使用

©2015-2020 m.777doc.com 三七文档.

备案号:鲁ICP备2024069028号-1 客服联系 QQ:2149211541

×
保存成功