搜索
通用语义层数据模型建设思路内容提纲内容演讲人备注第一部分：通用语义层概述Ⅰ：回顾以往数据仓库模型设计思路Ⅱ：什么是通用语义层Ⅲ：通用语义层能解决什么问题Ⅳ：通用语义层有哪些特点第二部分：如何设计通用语义层第三部分：项目案例说明第四部分：实践课：虚拟场景下设计通用语义层下次课程安排第五部分：附录：相关文档模板下次课程安排内容提纲内容演讲人备注第一部分：通用语义层概述Ⅰ：回顾以往数据仓库模型设计思路Ⅱ：什么是通用语义层Ⅲ：通用语义层能解决什么问题Ⅳ：通用语义层有哪些特点第二部分：如何设计通用语义层第三部分：项目案例说明第四部分：实践课：虚拟场景下设计通用语义层下次课程安排第五部分：附录：相关文档模板下次课程安排回顾数据仓库数据架构演变过程1.0实施方法特点：①源数据一般直接抽取到缓冲层，缓冲层逻辑上在细分为全量区、增量区；②基于缓冲层（当时叫ODS层）加工数据集市，集市分为明细汇总表、高粒度的汇总表；③用户应用多集中在报表统计；个险银保团险电销财务接口文件缓冲层，（ODS）个险、银保、团险、财务、电销等数据集市（DM）明细汇总表，高度汇总表固定报表灵活查询多维分析1.5实施方法特点：①缓冲层与数据集市模型设计思路与以往类似；②整合层，参考了IBM的IIW、TD的FS_LDM模型，进行客户化；或者据此设计公司内部的企业模型；③用户应用多样化，充分利用BI工具分析功能；④管理驾驶舱实际上是仪表盘+固定报表个险银保团险电销财务接口文件缓冲层，（ODS）个险、银保、团险、财务、电销等数据集市（DM）明细汇总表DM1，高度汇总表DM2固定报表灵活查询多维分析整合层（DW）统一建模管理驾驶舱IIIIVⅤ增量信息难以捕获，造成模型设计难以保存历史，造成了模型设计有些“四不象”，实际上并没有学习到行业模型的精髓项目困难、困惑项目实施过程中遇到的困难、困惑ETL过程设计简单，代理主键的使用、更新与维护混乱数据集市一般根据应用来设计，集市表成“碎片”，且指标多次重复计算，集市之间存在误差（可能因为维度、指标口径不明确、加工频度、刷新频度、脚本错误等）数据集市根据实际需要分为明细汇总表、轻粒度汇总表、高度汇总表，至于为何这么分，并没有讲出所以然来III整合层按照范式的要求进行存储，在计算集市时，非常的不方便，效率低下，因此常将一些常见的维度信息关联好，存储起来，集市计算时使用以往数据仓库类项目模型设计成果示例当事人事件协议集市模型，这里甚至没有分层困惑~！当前，数据仓库最佳实践之数据架构2.0实施方法特点：①总结以往项目经验，规划出较为实用的一层，通用语义层，将基础指标的计算、维度梳理预处理，将多表关联处理成冗余的宽表，解决实际问题；②提炼建模方法论，指导项目实际操作；少走弯路。个险银保团险电销财务接口文件缓冲层，（缓冲区、转换映射区、基础数据区）个险、银保、团险、财务、电销等数据集市（DM）分主题汇总（考虑复用）、特定应用汇总固定报表灵活查询多维分析通用语义层（存储明细数据、可多次复用的数据，解决维度与指标一致性的问题）管理驾驶舱制式报告动态报表资产接口文件内容提纲内容演讲人备注第一部分：通用语义层概述Ⅰ：回顾以往数据仓库模型设计思路Ⅱ：什么是通用语义层Ⅲ：通用语义层能解决什么问题Ⅳ：通用语义层有哪些特点第二部分：如何设计通用语义层第三部分：项目案例说明第四部分：实践课：虚拟场景下设计通用语义层下次课程安排第五部分：附录：相关文档模板下次课程安排通用语义层起源与BO通用语义层（CommonSemanticLayer），检称CSL，最早起源与BO，目的在于让业务用户能够通过自己的业务术语，自由安全的访问、分析以及分享信息的技术，其特点是：①业务用户自主操作②提高用户对于各种企业数据的操作体验③提供一致可信的数据，确保同一业务术语的引用能够贯穿整个企业④让所有的商务智能工具都可以使用（只能用于BO）⑤让信息部门可以控制和确保信息访问的安全性通用语义层带来的价值①简洁一致的用户体验，让业务用户可以简便的访问企业内的数据；②减少企业的培训成本；③保障业务用户始终使用可信的信息④业务用户自创式创建各种商务智能的内容⑤可重用的查询、计算、参数、过滤条件、值列表简化用户使用⑥为普通用户提供了一个简化的界面，访问复杂的企业数据①降低BI项目的投入成本，保护现有IT数据投资②扩展现有的BI平台的安全模式③支持多数据源的语义层，提高服务质量④支持完整BI项目生命周期，项目开发、测试、投产⑤语义层与数据源的变化相同步⑥支持和扩展数据库的安全性⑦预定义的可重用的查询、参数、过滤、计算、值列表等给业务用户带来的价值给IT用户带来的价值可理解性差语义层过于复杂，难以理解，尤其是新老人员交替，沟通成本很高可复用性差语义层的设计成果不能在多个BI工具中使用，过于依赖BI工具.重用程度不高可扩展性差语义层的扩展于与分拆影响较大，难以后期维护，为了降低影响范围，大多是在原来基础上，新增其他功能，致其复杂度越来越高；BO中的通用语义层实践中遇到了一系列的问题如何解决这些问题呢？即能够享有通用语义层带来的价值，又能够规避这些问题。经过敏思苦想、群策群力，终于有了答案。。。。敏思苦想群策群力奔走相告豁然开朗使用ETL的方式，将BO中的语义层搬到数据库中，简化加工逻辑、提供可扩展性和可复用性现在，我们来重新定义通用语义层通用语义层模型设计基于业务（如保险）核心价值链上的核心业务对象和业务事件，采用维度总线架构思想来构建；业务对象通常用维度实现，业务事件通常用事实表实现，按照事实表的不同类型分为：累计快照事实表、周期快照事实表、交易基础事实表。通用语义模型设计面向管理决策和经营分析，是公共维度和共性基础指标的实现载体，支持80%以上的共性应用需求；通用语义模型设计采用维度化的逆范式设计模式，通常采用以下策略：预连接处理：按照总线架构维度和事实表的要求，将分散在多张相关实体表的数据属性进行预连接操作，使相关的维度尽可能组织在特定的维表或者事实表，如保单维、保单责任维、代理人维、客户维、赔案维等；预计算处理：按照总线架构维度和事实表的要求，对事实表中的基础指标进行加工计算，保证基础指标逻辑加工的“GoldenCopy”，如保单事件、核保事件、保全事件、查勘事件、理赔事件等；汇总处理：针对共性的复杂指标，按照对应的维度进行提前聚合处理，以保证共性复杂指标逻辑加工的“GoldenCopy”，避免重复加工，提供数据一致性和响应效率，如保单层面指标汇总，机构层面指标汇总，产品层面指标汇总，代理人层面指标汇总，客户层面指标汇总等；通用语义层模型的粒度尽可能保留到最细交易粒度（汇总处理除外），以保持模型间的连通性，并能够最大程度、最快速地响应新需求；以Sysbase的IWS模型为指导思想，进行通用语义层设计核心主题：LifePolicyEventLifeClaimTransactions关键度量主题：LifePolicyKeyMeasuresLifePolicyCostsKeyMeasuresLifeAgencyChannelKeyMeasuresLifeAgentChannelKeyMeasuresLifeProductCostsKeyMeasuresLifeUnderwritingCostsKeyMeasuresLifeClaimSummary（实际上也是KeyMeasures）其他应用主题视图：LifeQuotations&ProposalsLifeNewBusinessIWS模型主题主要分为事件表和度量表PolicyID=PolicyIDPromotionalEpisodeID=PromotionalEpisodeIDInsurancePolicyPropertiesID=InsurancePolicyPropertiesIDISOCurrencyID=ISOCurrencyIDPaymentCategoryID=PaymentCategoryIDEntityID=InsuredParticipantIDGeographicID=IssuedGeographicIDEntityID=PreviousInsuranceCarrierIDEntityID=InsuranceAgentIDEntityID=InsuranceAgencyIDEntityID=InsuranceGroupIDProductID=ProductIDCoreReportingStructureID=AgentReportingStructureIDLifeInsurancePolicyRatingID=PolicyRatingIDLifeInsurancePolicyFeaturesID=LifeInsurancePolicyFeaturesIDEntityID=EntityIDPersonalBehaviorScoreID=PersonalBehaviorScoreIDGeographicID=GeographicIDDemographicsID=DemographicsIDPeriodID=PolicyEventDatePeriodIDDemographicsID=DemographicsIDFinancialScoresID=FinancialScoresIDGeographicID=GeographicIDProfessionID=ProfessionIDPhysicalDataModelModel:InsurancePackage:LifePolicyEvent保单各类事件（除理赔）Diagram:LifePolicyEventAuthor:ADMINDate:2004/2/11Version:4.0.276LifeInsurancePolicyEventLifeInsurancePolicyEventPolicyIDPolicyEventIDPolicyEventSequenceNumberPolicyEventDatePeriodIDPolicyEventTypeIDProductIDPolicyRatingIDLifeInsurancePolicyFeaturesIDInsurancePolicyPropertiesIDInsuredParticipantIDInsuranceGroupIDUnderwriterIDUnderwriterReportingStructureIDInsuranceAgencyIDInsuranceAgentIDAgentReportingStructureIDPreviousInsuranceCarrierIDDemographicsIDGeographicIDIssuedGeographicIDPromotionalEpisodeIDISOCurrencyIDReferenceISOCurrencyIDPaymentCategoryIDPolicyTransactionWrittenPremiumAmountPolicyCoverageAmountReferenceCurrencyPolicyCoverageAmountTransactionAmountReferenceCurrencyTransactionAmountCommissionTypePolicyTransactionCommissionAmountReferenceCurrencyPolicyCommissionAmountPolicy1STYearCommissionAmountPolicyTermServiceCommissionAmountPolicyRenewalCommissionSYB_IDSYB_IDSYB_COUNTSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_IDSYB_MONE