ODS数据服务平台介绍

10/17/20191ODS数据平台介绍中国人寿股份有限公司信息技术部统计信息项目组10/17/20192主要内容1、数据平台的功能2、数据平台的建设原则3、数据平台数据平台建设使用技术4、ODS表命名规则5、Basedb数据结构设计要点10/17/20193数据平台两大功能1、提供数据服务增量层（INCR层），存放生产库的存量数据，以此作为所有外围系统的数据接口，提供数据级服务。2、提供信息服务ODS层（BaseDB与CubeDB）BaseDB存放融合的基于操作级的数据，而CubeDB是基于BaseDB的汇总数据，以此提供数据查询与数据的统计。ODS层只存放与统计相关的数据。增量层的数据范围＞ODS层的数据范围10/17/20194保监会报表、总部快报等CallCenter、省级数据接口DTS调度抽取DTS调度抽取Trigger抽取增量及全表抽取CBPS8版年金系统AMIS财务系统……镜像库镜像库增量数据库增量数据库SQLServer数据库INFORMIX数据库省级ODS数据库SQLServer数据库CBPS7版总部汇总层总部ODS数据库未确定数据库总分传输省级汇总层DTS调度抽取SQLServer数据库10/17/20195层次间的数据导向1、增量层（INCR）是生产系统的同构层，并且是逻辑集中的。有几类业务系统就有几个增量数据库。2、BaseDB对同构层数据进行了集成和融合，但它还是基于操作型数据的3、CubeDB对数据进行了抽象和加工，它并不是基于操作型数据的。主要是针对前台的报表应用建立统计模型。不同层之间的数据特点决定了它们的应用方向。如：1、增量层适合于作为数据供应池2、BaseDB除了作为CubeDB的数据汇总来源外，还可提供数据查询使用3、而CubeDB适合于报表生成和数据分析10/17/20196目前应用1.基于数据服务的应用有：CallCenter、电子商务，以及后期的再保数据接口，他们将从增量层获取数据2.基于信息服务的应用有：中介统计平台、保监会报表系统以及每日业务快报、广东省报表中心等，他们均从ODS层获取数据（即基础数据来源于BaseDB，经过汇总，产生CubeDB中的事实表数据）.10/17/20197数据平台建设的几点原则1、整个架构基于PC服务器当前多层次的架构适合于多个PC服务器的联合工作。如果采用小型机架构，存在下列问题：1）数据平台庞大的数据以及复杂的层次结构，将要求独占小型机资源，这对于各省的硬件设备，难以支撑。2）如果把数据平台的各层都架构在小型机上，那么应用上难以达到平衡，应用间效率的互相影响和牵制会相对突出。而采用PC服务器方式，由于PC服务器成本低，我们可以通过多台PC服务器的联合工作，获得有效的性能。未来设备采用：使用64位的PC服务器＋高速磁盘存储设备，将会给数据平台提供坚实的基础。10/17/20198数据平台建设的几点原则2、基于微软平台与微软技术微软平台的集成性和方便快捷是显而易见的。数据库采用SQLSERVER，在SQLSERVER中，集成了如下服务：数据库平台、报表工具（ReportingServices）、ETL工具（DTS）、分析平台（AnalysisServices）以及复制工具（ReplicaiotnServices），而且许多BI工具都是很有名的。应用前端基于.NET平台，在微软平台上，采用.NET技术一定优越于JAVA。除非我们要在UNIX平台上建立应用，否则，采用JAVA是舍简取繁。10/17/20199数据平台建设的几点原则3、采用Trigger方式提供轨迹数据由于各个生产库在设计阶段，都未充分考虑到轨迹数据的记录，所以采用Trigger方式，是目前唯一可行的方案。这样，才能保证数据平台的数据与生产库之间的一一对应。否则，你费尽心力，也难以作到双方的数据一致性。10/17/201910数据平台建设的几点原则4、增量层作为生产库的同构层，并作为数据供应池增量层与生产库是完全的同构关系，有多少种生产库，就有多少个增量库，目前数据平台中设计好的增量库有：CBPS7版增量库（INCRDB）、CBPS8版增量库（INCRV8）、AMIS增量库（INCRAM）、年金增量库（INCRNJ）以及投连万能增量库（INCRUL）。目前增量层中的数据已扩充成全量数据。这一层是为外围系统而生的。主要是考虑到对CALLCENTER与再保系统的深度支持。10/17/201911数据平台建设的几点原则5、BaseDB保存集成的、经过融合的、基于操作型的数据如果直接在增量层上架构统计应用，会存在许多的不便，因为增量层中的数据是非集成的，一项统计可能要跨越多个数据库，同时，数据是非融合的，一项统计可能要基于不同的数据库进行复杂的定制。而基于BaseDB，可以在很大程度上避免这些复杂性。但同时，BaseDB中的数据还是基于操作型的数据，并未进行太多的抽象，这样带来的优点是：1）我们可以有效减少ETL的复杂性2）提高了ETL的效率。也正因为BaseDB是操作型数据，所以我们需要CubeDB层对基于统计的数据进行抽象加工。10/17/201912数据平台建设使用技术操作系统数据库ETL工具前端应用调度方案数据库引擎WindowsServer2000，未来希望采用WindowsServer2003SQLServer2000，未来希望采用SQLServer2005DTS，属于SQLServer2000自带。JAVA和ASP、ASP.NET由VB程序开发的管理维护平台实现对生产库（INFORMIX）的访问使用ODBC引擎，应用上采用JDBC或ADO引擎10/17/201913ODS表命名规则A类表－保单类表B类表－收付费类表C类表－客户类表包括A01长险保单表，A04基金险保单表，A05短险保单表，A02基本要约表、A03子要约表、A11长险被保人表、A12基金险被保人表、A13短险被保人等表。主键合并包括B01实收表，B02实付表，B03应收表，B04应付表、B05帐户表、B06财务应收备份表、B07财务应付备份表。主键合并包括C01客户主表，C02个人客户信息表、C03团体客户信息表、C04联系方式关联表、C05联系方式列表。主键合并D类表－保全类表目前暂不抽取E类表－理赔类表包括：E01理赔申请表、E02赔付理算表、E03索赔被保人表。主键合并T类表－AMIS类表包括T01营销员基本信息表，T02营销员自然状况表，T03佣金明细信息表，T11营销员流动情况，T29代理人资格证，T50机构定义表等H类表汇总层的表命名L类表、M类表、N类表留给省一级使用10/17/201914BaseDB中的冗余字段BaseDB中许多表都设计了冗余字段，它主要作用是：1、减少表间关联，提高汇总速度。2、降低不同业务系统之间的差异性。大部分冗余字段都采用双向更新方式，以保证冗余字段的值不会被遗漏。10/17/201915A类表的冗余字段许多信息在7版中存在，但8版中把保单信息分布在几张表中，所以我们在抽取8版数据时，生成了相关字段的信息。原则如下：1、一对一的表，直接更新2、一对多的表，SUM更新或首条记录更新10/17/201916B类表的冗余字段B类表的冗余字段，大部分是从保单表更新得到。但在8版中，由于生成保单的置后现象（即回执问题）。所以在未找到保单记录的情况下，我们通过投保单信息（A31）与投保要约信息表（A32）来更新B类表的相关字段。10/17/201917C类表的处理当生产系统切换到8版后，C类表的处理如下：1、存量不再抽取7版Customer中的个人客户，存量不再抽取7版的psn_customer2、7版增量只抽取C01表中不存在的个人客户（根据客户号判定）3、个人客户存量与增量主要来源于8版4、仍有一定的问题10/17/201918祝工作顺利！