HSB-EDW_FS-LDM逻辑数据模型培训

徽商银行数据平台（一期）项目FS-LDM介绍主讲人：赵欢徽商银行数据平台（一期）项目组2008年10月内容安排逻辑数据模型LDM概览数据模型设计方法和步骤FS-LDM逻辑数据模型主题介绍模型设计工作计划本文件署保密资料，未经NCR(中国)有限公司的书面许可，不得翻印或外传什么是逻辑数据模型（LDM）？逻辑数据模型（LogicalDataModel）是利用图形方式，通过数据和关系反映业务的一个过程，是进行数据管理、分析和交流的重要手段，也是IT和业务人员沟通的桥梁。什么是逻辑数据模型（LDM）？逻辑数据模型为企业描绘出一幅整体的业务蓝图数据模型作为商务智能的构架，首先需要构建一个强大而灵活的数据仓库作为基础，数据仓库也将会在今天以及不久的将来使用户的实力和自身价值得以增强和提高这样的构架应该提供明细数据层面的单一数据来源。逻辑数据模型的设计理念建立一个统一的、共享的基础数据平台，为不同业务需求提供一致的、规范的数据；一个可扩展的、动态的模型能够经得住时间的考验，当业务改变时，能够将对数据模型的影响减至最小甚至完全不受影响；DW的数据模型应该是中性的，能够满足各种不同的分析逻辑的要求而设计的，因此它不同于通常所看到的为了支持某个特定的、预先定义的处理过程而设计的模型；数据模型涉及范围广阔，是多功能的和集成的；LDM在EDW中的地位AT&TETL服务器•数据清洗／转换／加载•文本文件数据源LDM•应用模型数据仓库核心贷记卡个贷其他基金信贷国结构建LDM的方式按方法论分为从底向上从顶至下按是否基于某种产品万丈高楼平地起产品客户化8模型客户化依据–以成熟的模型产品为蓝本NCRFS-LDM–充分考虑中信业务系统的各类信息和中信各系统资料（ID）驱动模型客户化的因素–在模型中记录一些模型产品中不包含的信息，这就需要对模型产品做扩展–模型产品中的某些信息无法获取或对某些信息不感兴趣–某些业务规则与模型产品假设的规则存在差异客户化的类型–在既有结构上新增实体和属性–抛弃模型的某些结构–对现有结构的修改客户化必须谨慎–考虑是否模型产品确实不适用–客户化的部分能解决现有系统的数据存放问题–客户化的部分要有预见性（如数据的扩展、历史的变更）–保持客户化部分与模型产品的设计规范、设计风格等的一致性寻求模型产品与现实系统之间的平衡点数据模型产品客户化全球二百多家金融机构经验的总结描述了银行的各类业务以及这些业务之间的关系，通过定义实体、实体的属性以及实体之间的关系来描述具体的银行业务逻辑蕴含了现代商业银行分析决策和客户关系管理的各个方面是满足第三范式（3NF）的数据模型高起点，缩短周期、降低风险、节约投资Teradata金融业逻辑数据模型19TeradataFS-LDM产品研发历程199619971998199920002001-22/96–DevelopmentStarted8/97Release1.0•RetailBanking•EightMajorSubjectAreas•ServicesTemplate(notforsale)12/98Release2.0•SupportforTeradataChannelManagementAnalyticsOLAPProduct;BankingEnhancements5/99Release2.1–ForSale11/99Release3.0•Insurance(P&C/Life)•Multi-currency•SupportforTeradataValueAnalyzerProduct(customerprofitability)2003|2004-52/00Patented12/00Release4.0•InsuranceEnhancements•Clickstream/WebChannelsupport•CheckImagingSupport12/01Release5.0•CommercialBanking•Brokerage•CreditCardEnhancements6/04Release7.0•EnterpriseCreditRiskManagementSupport(BaselII)•FinancialMgmt/GLEnhancements•Brokerage/Invest-mentEnhancements1/03–Release6.0•Finance/GLSubjectAreaAdded•HealthInsurance•GroupLifeInsurance6/06–Release8.0•MarketRisk•CreditRiskEnhancements•FinancialSubLedgers–DecisionPointSoftware2006200712/07Release9.0•EnterpriseRiskManagementforinsurance•AntiMoneyLaundering•UnstructuredText•CallCenterNavigation•CampaignOpportunity,Cell,Step,Response•SalvageandSubrogation目前最新版本为9.0逻辑视图(第三层)294多个逻辑视图细节(第三层)2117实体8865属性主题区域(第一层)10主题区域概念(第二层)50多个实体单独分离的ERwin文件细节模型和相关的以及历史的实体和数据类型密切相关，细节模型几乎可以和第三范式物理模型直接一对一对应地建立实施关系。FS-LDM的不同层级财务资产当事人Notallrelationshipsareshown区域地理区域，物理的或电子的地址单个人或一组人事件会导致同客户达成合同的金融或非金融的事件内部组织金融机构或保险公司内部的业务单元协议在客户和金融机构之间达成的关于特定产品的协议产品一种可以在市场上交易的产品或服务，包括条款或条件行销活动为了获取、挽留客户或提高用户的使用率而采取的战略、计划或促销活动渠道客户和金融机构或保险公司进行接触的途径企业内部的会计系统当事人所有的具有价值且能够获得受益的事物FS-LDM主题区域Teradata－LDM客户化方法论•FS－LDM介绍•客户化研讨•讲解模板•产品•当事人•协议•事件•渠道•内部机构•应用验证•数据验证•合理性验证•规范验证客户化FS-LDM前期准备项目组交流研讨分析源系统统一业务定义模型验证•组建团队•收集资料•确定范围•介绍源业务系统•分析整理数据结构•分析样本数据•概要设计•详细设计•完善和回顾ThinkBig，StartSmall！ThinkfromBusiness,ThinkforBusiness14数据模型客户化程度主题名称客户化程度当事人（PARTY）产品（PRODUCT）协议（AGREEMENT）内部机构（INTORGANIZATION）事件（EVENT）地域（LOCATION）营销（CAMPAIGN）渠道（CHANNEL）财务（FINANCE）当事人资产（PARTYASSET）模型客户化的Benefits可以长期使用的灵活的、动态的、可扩展的模型。开发LDM是一个好的起点，为检查是否满足需求提供检查点。减少风险。节省时间。能否拥有一个完美的LDM人人希望完美实际上时间有限人力有限预算有限结果一个不完美但能够满足当前需求的模型关键：可扩展内容安排逻辑数据模型LDM概览数据模型设计方法和步骤FS-LDM逻辑数据模型主题介绍模型设计工作计划本文件署保密资料，未经NCR(中国)有限公司的书面许可，不得翻印或外传逻辑数据模型设计主要任务：–了解业务流程－分析源数据–建立实体模型–新建模型建立实体模型建立实体间依赖关系填写并完善实体属性–定制模型逻辑数据模型客户化–验证逻辑数据模型－逻辑数据模型总结汇报－利用工具：ERWin交付项目：逻辑数据模型LDM《逻辑数据模型说明书》逻辑数据模型概念逻辑数据模型是用来发现、记录和沟通业务的详细“蓝图”基于概念数据模型（CDM）由一系列表和实体详细描述组成通用的业务语言便于业务与业务之间的功能理解集成当前和未来数据的蓝图独立于技术为物理数据库设计作准备是IT人员和业务人员沟通的工具发现属性发现关系发现实体1.业务规则2.ER图3.ER建模逻辑数据模型(LDM)示例主要任务：－转换逻辑数据模型（LDM）为物理数据模型－定义主索引、次索引－非正则化处理（denormalizations）－数据库建立－设计优化－数据库功能测试使用工具：－ERWwin交付项目：物理数据模型PDM《物理数据模型说明书》数据库描述语言DDL物理数据库设计建模方法：－第三范式3NF－星型结构－雪花状结构非正则化的两种类型：物理非正则化派生数据（DerivedData）汇总表（SummaryTables）重复的Groups(RepeatingGroups)多物理表（MultiplePhysicalTables）预连接（Pre-joins）子实体（Sub-entities）逻辑非正则化视图（Views）逻辑星型结构（LogicalStarSchemas）物理非正则化对模型的灵活性会有影响逻辑非正则化是一个优选的方法（OLAP实现）非正则化处理(Denormalization)物理数据模型（PDM）示例内容安排逻辑数据模型LDM概览数据模型设计方法和步骤FS-LDM逻辑数据模型主题介绍模型设计工作计划本文件署保密资料，未经NCR(中国)有限公司的书面许可，不得翻印或外传是客户概念的外延能支持不同的关系（父子、雇佣、夫妻关系等）可以是一个具备相同目的的个体组合，如协会、社会团体、家庭、亲友团、同学会等。可以是一个外部或内部的组织机构定义：PARTY是指任意的个人或团体。比如：客户、潜在客户、国内组织、汽车商人、竞争者、雇员、分行、部门等等。PartyParty•唯一标识号•PARTY类型代码•PARTY信息的收集来源代码•开始日期•终止日期•生命周期代码•在主机的号码•是否是PROVIDER•是真正的客户还是潜在客户？Party—分类•非正式组织•企业•内部组织•金融机构的内部组织•金融机构•个人•潜在客户•当事人•机构•团体•当事人之间的关系表Party—信用评级评分•当事人负债•当事人负债的信用评级•当事人的人口统计信息•客户评分•团体评分•当事人信用评级•分析模型•潜在客户评分•模型计算事件CustomerAsset•唯一标识号•保险历史种类代码，如是否被拒保、拒赔？•所在地址编号•资产种类代码•资产图片资料等的编号•资产的描述•持有人为该资产指定的账号PartyAsset•客户资产•当事人•资产价值•客户资产的一些编号信息•不同种类的资产•珠宝•不动产•其他资产•宠物•汽车•游艇•投资•受赠•重建价值InternalOrg定义：内部组织机构是指金融机构的内部组织和业务单元，如分行、支行、储蓄所、部门、销售团队等等。是一种特殊的PARTY包括所有的组织类型以及相互关系提供层次和矩阵结构和多个主题有关联InternalOrg－特殊的PARTY•Organization是当事人的子类；•InternalOrganization是Organization内部组织，如部门、附属机构等；•FinancialInstIntOrg指金融机构的内部组织，如地区、营业网点、工作组、团队、呼叫中心等；•机构•企业•内部组织机构•金融机构内部组织•金融机构Location定义：LOCATION主题是指银行希望关注或考察的任何层次的地理区域和地址。如国家、省份、城市、县、乡村等。LOCATION主题包含“具体地址”、“地区”、“地理位置”等不同层次的信息。该主题和事件、产品、渠道、内部组织机构、营销活动等主题都有着密切的联系。MainStreetLocation—分类•地址之间的关系•广义地址•地区的经济指标•电子地址•地区•地址的