经典数据模型培训

数据模型培训2009年07月目录•数据模型的概念•主题域模型介绍•FSD数据模型总体介绍•FSD数据模型应用•数据仓库建模基础•总结逻辑数据模型(LogicalDataModel)是：•利用图形方式，通过数据和关系反映业务的一个过程；•定义需要追踪和管理的各种重要实体、属性和关系；•是进行各种数据管理、分析和交流的重要手段；•是IT和业务人员沟通的桥梁；什么是数据模型？数据模型作用•为复杂的业务系统实施提供了规范和基础结构－蓝图•促进业务部门用户和IT分析人员之间的有效沟通，提高了IT系统开发的效率–明确业务需求–解决业务问题•形成对重要业务定义和术语的统一认识，有助于业务的积累•具备跨部门、中性的特征，能够表达所有的业务•业务具有一定的稳定性，可以减少项目实施的风险•借鉴行业实践检验，提供成熟、可扩展的方案数据模型的基本组成数据模型由实体、属性和关系组成：•实体是具有公共性质的可区别的现实世界对象的集合，诸如人、地点、事件或概念等任何要保留信息的事务，如客户、产品等。包括基本实体、子类型实体、属性实体、关联实体四种类型。•属性是描述实体或者联系的性质的数据项，是实体的特征，每个属性都代表实体的单个特征信息，如客户ID、客户名称等，其中主键用于唯一标识实体，外键存在于父子关系的一对实体间。•关系是表示实体之间的关联、连接等。关系有一对一、一对多、或者多对多。关系有基数、可选性、标识联系、非标识联系等特性。范式化•第1范式：属性依赖于键•第2范式：属性依赖于全键•第3范式：属性只依赖于键总结：所有属性必须依赖键且为全键，并且只能依赖于键讨论：范式化与逆范式化（通俗的说法：窄表、宽表）数据模型与数据结构指标维护-指标关系历史Item_Id指标标识CHAR(10)Upper__Item_Id上层指标标识CHAR(10)Start_Date开始日期DATEItem_Mode指标性质CHAR(2)End_Date结束日期DATECaulate_Seq计算顺序INTEGERCaculate_Mode_Cd计算方式代码CHAR(2)Caculate_Level计算层次INTEGERCOEF_Caculate_Mode_Cd系数计算方式代码CHAR(2)COEF_Amt系数值DECIMAL(18,10)Target_Value目标值DECIMAL(18,10)指标维护-指标性质第一位:1:本期2:上期3:年初4:同期5:比较第二位:1:实际值2:增减值3:增减百分比指标维护-计算方式代码+加-减/除*乘0不计算指标结构Item_Id指标标识CHAR(10)Upper__Item_Id上层指标标识CHAR(10)Start_Date开始日期DATEItem_Mode指标性质CHAR(2)End_Date结束日期DATECaulate_Seq计算顺序INTEGERCaculate_Mode_Cd计算方式代码CHAR(2)Caculate_Level计算层次INTEGERCOEF_Caculate_Mode_Cd系数计算方式代码CHAR(2)COEF_Amt系数值DECIMAL(18,10)Target_Value目标值DECIMAL(18,10)指标维护-指标性质第一位:1:本期2:上期3:年初4:同期5:比较第二位:1:实际值2:增减值3:增减百分比指标维护-计算方式代码+加-减/除*乘0不计算数据模型关系企业逻辑数据模型EnterpriseLogicDataModel企业分析逻辑模型EnterpriseAnalyticLogicalDataModel派生额外的分析数据要求主题域逻辑数据模型SubjectAreaLogicalDataModel主题域逻辑数据模型SubjectAreaLogicalDataModel主题域逻辑数据模型SubjectAreaLogicalDataModelDW主题域逻辑数据模型DWSubjectAreaLogicalDataModelDW主题域逻辑数据模型DWSubjectAreaLogicalDataModel应用系统物理数据模型ApplicationPhysicalDataModels数据集市物理模型DataMartPhysicalModels企业数据仓库物理模型EnterpriseDataWarehousePhysicalDataModel企业数据仓库数据集市I数据集市III数据集市II应用数据库I应用数据库II应用数据库III应用系统逻辑模型ApplicationLogicModels数据集市逻辑模型DataMartLogicalModel细节和专门的分析要求数据建模技术企业级数据模型客户存款贷款主题域模型业务数据模型……贷款业务贷款业务（核心系统）贷款业务（信贷系统）逻辑数据模型物理数据模型存款业务建立逻辑模型策略从物理数据库如：核心、CRM、信贷、资产负债等系统开始进行反向工程。建立逻辑模型，被称为“自底向上”的建模方式，或模型B。根据数据建模小组的业务知识和行业建模经验建立实体水平逻辑模型，被称为“自顶向下”的建模方式，或模型A。业务知识企业级数据模型交易系统交易系统目录•数据模型的概念•主题域模型介绍•FSD数据模型总体介绍•FSD数据模型应用•数据仓库建模基础•总结通用数据模型主题划分金融数据模型IBMFSDMNCR7.0当事人和当事人角色参与者(InvolvedParty)当事人法人实体组织机构机构客户产品产品(Product)产品分类方案分类(Classification)渠道协议合约(Arrangement)合约交易事件(Event)事件财务记录财务地域地点(Location)区域通讯凭证时间表营销活动金融资产资源项(RecourseItem)资产条件(Condition)业务方针(BusinessDirection)金融数据模型总览当事人银行组织机构财务记录产品法律实体客户协议分类方案交易地域时间表凭证通讯金融资产业务单元执行交易财务交易个体财务头寸记帐规则交易规则会计分录时间表条目当事人角色作业产品特性当事人关系当事人当事人组织机构法律实体客户分类方案业务单元政治实体当事人角色当事人关系群体个体银行职员金融工具参与者金融服务提供者法律单元基础设施提供者股权亲属关系雇佣关系管理控制成员法律识别信托关系买主债务人信用客户适销产品目标市场产品及协议适销产品业务约定金融资产业务单元产品特性业务约定条款简单产品复合产品执行交易客户产品分类方案产品等级级别产品等级交易合同产品交付交易产品交付协议供应约定信贷协议抵押协议有形资产金融工具执行交易类型财务记录业务约定时间表凭证通讯执行交易财务交易财务头寸记帐规则会计分录规则适销产品产品交付交易会计分录财务交易规则银行内部交易客户产品交易会计交易信用交易抵押品交易银行内部帐户客户产品记录财务账目信贷协议记录抵押品记录结算回收发放计息存入支取转帐金融资产交易当事人-定义及分类当事人当事人角色法律实体政治实体组织单元群体个体法律单元业务单元客户角色ModelBank组织单元债务人ModelBank个体银行职员监管者当事人关系当事人-法律实体法律实体法人实体代表实体股权管理控制会计主体分支机构法人实体行业分类法律实体事件法律实体地址当事人-组织机构当事人组织机构当事人角色业务单元作业工作类型ModelBank组织单元业务单元中成员职能业务单元范围作业使用的工作类型管理维度当事人-客户客户角色客户分类方案中的客户客户分类方案目标市场买主债务人信用客户行业信用客户买主产品用法适销产品目标市场产品可用性法律实体营销对象客户操作产品-定义产品-特性产品-分类协议产品交付交易产品交付协议交易产品交易合同买主买主产品使用适销产品业务约定执行交易财务记录业务约定条款交易执行交易财务交易财务分录财务记录金融资产货币当事人角色执行交易的当事人角色业务约定产品交付交易适销产品执行交易类型客户产品交易会计交易财务记录（账户）财务记录(账户)财务记录财务头寸财务记录集业务单元帐套会计分录汇总金额条目金融资产业务约定财务交易记帐规则财务头寸类型财务记录类型协议-交易-账户的关系•当事人（具有银行指定的客户角色）与银行进行某种业务时，必然针对银行的某种产品，其产品自身的特点及交易属性决定了在交易时必须遵循一定的规则，即双方必须遵守的业务约定（协议）。•在业务约定的前提下，在一定的时间和地点双方实现业务约定的内容，即进行交易，交易过程中会伴随有相应的金额数量和币种等信息。•交易发生时，银行会记录与这笔交易有关的财务信息，即影响银行财务增加或减少的财务记录（账户）。地域当事人角色当事人地域用法地域当事人角色地域用法地址场所地理地域虚拟地域行政地域行政地域货币用法货币行政地域地址虚拟地域地址地理区域地理区域包含当事人当事人角色通讯通讯事件记录通讯目地格式/协议规则财务记录执行交易通讯事件记录关系通讯事件生命周期状态通讯事件记录地址用法地址通讯服务中的格式/协议用法通讯服务通讯事件记录凭证凭证凭证凭证适销产品凭证用法适销产品金融资产凭证用法金融资产业务约定凭证用法业务约定执行交易凭证用法执行交易凭证当事人角色当事人角色通讯事件记录凭证通讯事件记录凭证关系凭证生命周期凭证区域存储区域财务记录凭证用法财务记录时间表金融资产有形资产金融资产产品交付交易结算不动产日用品商品保险政策工具关系工具默认结算指令工具生命周期状态工具外部标识货币工具金融工具市场工具双边工具分类产品分类方案产品分类方案中的产品分类方案国家分类方案客户分类方案客户分类方案中的客户客户角色构造适销产品产品等级级别分类等级级别客户等级级别目录•数据模型的概念•主题域模型介绍•FSD数据模型总体介绍•FSD数据模型应用•数据仓库建模基础•总结FSD（FinancialServiceDatastore）的目标•面向银行业，满足银行业务、管理、监管要求–通过多家银行的报表需求，不断完善FSD元数据内容–通过对报表需求的分析，不断完善元数据定义的标准–通过多家银行的项目实施经验，不断完善数据采集的管理、调度机制，实现外部业务系统、数据平台的安全、协调运行•具有良好的拓展性，满足银行不断推出的新业务、新服务的要求–制定FSD管理流程，保证FSD与数据平台产品的同步升级–建立FSD数据管理方法论，保证新增数据与数据模型、历史数据的有效衔接–协助银行，制定有效的数据管理制度•从任何角度统计，在业务逻辑一致的情况下，结果相同–从分户账、总账、交易信息，等等，任何一个角度进行统计，结果一致数据代理层ETL处理ETL处理数据提供者业务报表管理报表数据检核访问控制元数据管理数据服务工厂数据使用者ETL处理数据访问和发布数据管理体系抽取、清洗、转换、加载组织、活动、交付、职责、技术即席查询分析决策数据管理体系外部数据中间业务理财信贷资金国结核心其他数据平台层数据应用层EDWCreditALMORMGLCRMMA监管报表FSD的处理步骤ODS层基础层汇总层TP:TableofPresentation(orTierofPresentation)，是对外提供数据和报表展现接口，以数据库表的形式存在。数据代理层数据平台层数据应用层ODS层•数据结构与源一致。•数据内容与源一致。•参数代码与源一致。•源系统数据落地。•隔离源系统依赖。•保存少量历史支持重做。FSD：基于金融数据模型的数据存储（FinancialServiceDatastore）接口层数据的加工过程需要的临时区，参与集合筛选、增量计算等过程，视情况而定是否需要落地。基础层按银行业务划分的模型存储明细数据。保存时点全量和部分历史流水。汇总层基于源系统参数设置的常用高粒度业务数据汇总、预连接等运算处理。分析层面向应用要求的、按照特定分析主题定制的、约定特定用途的一组星型模型（StarSchema）存储区域。指标层基于项目（Item）的、具有公式关系和复杂运算特点的指标定义、计算、存储区域。TP层用于报表快速展现的报表数据存储或缓冲区域。在非完全由分析层提供数据时须保留历史。接口层分析层指标层T