专12-4-农银人寿-新核心数据架构规划与数据治理(4x3)distrib

新核心业务系统数据架构规划与数据治理2016年5月总公司信息技术部新核心项目组演讲人:赵华（IT部-副总经理、新核心项目经理）[e-mail]种磊（IT部-资深专员、新核心项目-数据组长）[e-mail]2公司简介农银人寿保险股份有限公司（简称“农银人寿”）是中国农业银行的控股子公司，依托农业银行雄厚的资金实力、庞大的经营网络、完善的金融服务、卓越的社会信誉，为客户提供高品质的保险保障和财富规划服务。ABCLifeInsuranceCo.,LtdAnInsuranceCompanyofAgriculturalBankofChina国内机构布局最广的银行系寿险公司，拥有20多家分公司和300多家分支机构；继中国农业银行控股农银汇理、农银租赁、农银国际后的又一股权投资力作；国有五大商业银行全部拥有自己保险公司的收官之作；健康重疾意外年金养老3组织架构-数据架构组（人员、工作职责）组内人力：11人，约占项目总人力10%子项目数：8*个工作职责1、数据架构规划与设计2、数据治理与标准化方案的制定及实施3、老核心数据模型整理、数据治理与标准化4、新核心模型设计与标准化应用5、数据标准规范、数据管理流程的制定与督导6、核心业务系统数据迁移方案的制定与实施序号角色人数1组长（负责人）1人2业务模型设计2人3数据模型设计、数据迁移7人4老核心模型整理1人技术实施组系统测试技术架构数据架构质量控制应用架构集成上线业务需求组监理咨询组新核心项目领导小组执行小组应用开发系统设计子项目管理4目录•1•数据架构-定位、设计目标、设计原则、设计思路•2•数据架构-高效数据操作•3•数据架构-规划设计•4•数据架构-数据源、数据的准备、存储、加工、交换•5•数据治理-概述、数据现状、分阶段实施与当前进展•6•数据治理-元数据管理•7•数据治理-主数据管理•8•数据治理与标准化应用-业务建模、数据建模、数据样例•9•数据治理与标准化-成果展示5数据架构-定位企业总体规划企业战略IT架构业务战略IT战略业务架构企业架构应用架构数据架构技术架构数据治理业务架构数据架构应用架构分析业务功能结合技术架构特点、技术要求IT总体架构需考虑数据架构对当前业务支持，理想规划顺序为数据驱动！以及时的方式，获取、处理和使用数据来创造效益，不断地迭代开发新产品，借助数据探索引领企业发展（Navigating）。判断是否为数据驱动的标准：（1）产生的数据量（2）使用数据的程度（3）内化数据的过程及深度定义6数据架构-设计目标数据架构是IT架构的重要组成部分，用来解决“如何管理数据”和“如何使用数据”的问题。7数据架构-设计原则总体原则在基于问题现状、改进分析的基础上，结合业务需求要点、主流技术及行业实践，进行目标的数据架构规划。8数据架构-设计思路系统需求分析业务特征分析数据分类*划分主题域*业务模型设计数据模型设计数据架构规划金融业（银行、保险）主流技术：ETL、ODS、EDW、MPP、BI、BigData数据流转数据分布数据加工参考主流技术、结合行业实践数据存储领域驱动设计（DDD）9目录•1•数据架构-定位、设计目标、设计原则、设计思路•2•数据架构-高效数据操作•3•数据架构-规划设计•4•数据架构-数据源、数据的准备、存储、加工、交换•5•数据治理-概述、数据现状、分阶段实施与当前进展•6•数据治理-元数据管理•7•数据治理-主数据管理•8•数据治理与标准化应用-业务建模、数据建模、数据样例•9•数据治理与标准化-成果展示10数据架构-高效数据操作标准SQL操作数据加载数据查询数据更新数据持久化缓冲区数据源数据库1业务服务对象数据库N……数据集成层（DI）PoweredbyDEVELA高效、透明、可独立部署降低开发难度，提升开发效率解决重复查询导致的性能问题高速缓存PoweredbyCACHE存放访问频率很高、但数据量较少的数据。如：码表、用户机构权限、费率相关。读写分离数据集成操作（DataIntegration）BusinessObject11目录•1•数据架构-定位、设计目标、设计原则、设计思路•2•数据架构-高效数据操作•3•数据架构-规划设计•4•数据架构-数据源、数据的准备、存储、加工、交换•5•数据治理-概述、数据现状、分阶段实施与当前进展•6•数据治理-元数据管理•7•数据治理-主数据管理•8•数据治理与标准化应用-业务建模、数据建模、数据样例•9•数据治理与标准化-成果展示12数据架构-规划设计数据管理区（设计平台-PLANA）产品工厂数据源区运营支撑域渠道接入域收付费新契约保全续期理赔保单管理个险核心/团险核心统一核保销售管理单证管理移动展业微信平台电子商务农银官网内部渠道银保通中介平台邮保通外部渠道其他来源政府监管金融同业互联网第三方机构数据交换区（数据交换平台-DEP）决策分析域再保稽核反洗钱准备金数据应用区（数据消费）监管报送数据存储区查询库（ReadDB）生产数据库（WriteDB）操作型数据存储ODS数据准备区（预处理）数据加工区（数据加工）内容管理平台（ECM）主数据管理数据仓库决策支持即席查询风险预警绩效评估标准报表多维OLAP主题集市1主题集市2主题集市N数据集成操作区（开发平台-DEVELA）业务对象标准SQL操作数据加载数据查询数据缓冲数据持久化...数据更新数据ETL数据同步数据分发作业调度监控管理数据服务新核心码表产品套餐险种用户机构权限客户信息客户信息系统产品工厂统一用户管理系统设计平台业务模型管理数据模型管理元数据管理码表管理OGG数据字典管理高管驾驶舱MIS半结构化/非结构化结构化参考TeraDataFS-LDM13目录•1•数据架构-定位、设计目标、设计原则、设计思路•2•数据架构-高效数据操作•3•数据架构-规划设计•4•数据架构-数据源、数据的准备、存储、加工、交换•5•数据治理-概述、数据现状、分阶段实施与当前进展•6•数据治理-元数据管理•7•数据治理-主数据管理•8•数据治理与标准化应用-业务建模、数据建模、数据样例•9•数据治理与标准化-成果展示14数据架构-数据源个险核心/团险核心（保单、契约、保全、理赔、续期）收付费、销管、单证、统一核保产品工厂......农银人寿核心业务系统（运营支撑）金融机构（银行、保险同业）政府部门、监管机构第三方机构（电商、互联网公司）农银人寿核心业务系统（渠道接入）外部数据内部渠道移动展业、微信平台、农银官网、电子商务外部渠道中介平台、银保通、邮保通内部数据互联网数据源-非功能属性（对数据存储设计起参考作用！）数据源获取方式（接口or文件交换；全量or增量）变动频率（极少、偶尔、固定周期）、变动形式（新增、更新）数据格式（结构化、半结构化、非结构化）数据量及变动量共享程度：根据业务模块对数据的需求强度15数据架构-ODS、内容管理平台（ECM）半结构化/非结构化数据（语音、影像、文件、扫描件）ECM数据交换平台数据源ODS结构化数据临时缓冲区加载区关联校验源数据增量层标准增量层基础数据层共性加工层数据准备区︵预处理︶数据存储区操作型数据存储（OperationalDataStorage）面向主题的、集成的、反映当前细节变化的数据集合贴源设计整合业务数据全貌，提供跨系统的、细节查询数据清洗及标准化，提升数据质量EDW主要数据源16数据架构-数据仓库与集市（规划）复杂报表决策支持风控驾驶舱KPI绩效聚合宽表数据汇总属性拼接逻辑加工数据视图数据衍生数据仓库参与方产品渠道合约财务机构事件活动数据模型............参考TeraDataFS-LDM分主题构建数据模型EDW：面向主题的、集成的、稳定的、分析型的、不可更新的、非实时的、反应一定历史时期内的数据集合。EDW-TransforminETL数据不一致的转换数据粒度的转换计算指标的转换转换的具体实现业务数据按照EDW粒度进行聚合多个SQL语句表示复杂转换规则数据集市字段与业务系统字段关联映射（转换函数及参数）EDW-数据源（DataSource）从OLTPDB中捕捉业务变化数据清洗、标准化、统一编码（确保数据一致性、消除冗余）数据整合（计算、汇总、集成、形成指标体系）重点关注：数据类型、更新方式、更新频率、更新数据量、数据质量、抽取范围、每次抽取量、消费系统的实时性要求。EDW-设计要点（Points）数据源（数据采集）数据模型（存储结构）ETL过程（设计关键）元数据管理（BI中尤为重要）技术手段（数据挖掘、知识发现、多维分析）数据应用（复杂查询及报表、绩效评估、高管驾驶舱）17数据架构-数据仓库（规划）EDW建设阶段一、规划分析阶段从用户角度进行需求分析（决策分析的内容和功能）构建概念模型（参考模型，划分主题，确定实体粒度和层级）从技术角度分析（主题需要哪些业务数据源支持、ETL工具选取）二、设计实现数据源选取、模型设计、元数据设计、ETL设计、数据清洗、统一编码、填充测试数据、数据应用三、运维阶段定期备份与恢复归档（离线存储）性能监控（数据备份与恢复时间、ETL时间、报表生成时间）EDW建设过程项目规划需求分析概念模型设计逻辑模型设计数据架构设计元数据设计物理模型设计ETL设计填充测试数据开发及实施性能监控与优化运维交付18数据架构-数据交换平台（DEP）元数据管理（MetaData）数据交换平台（DataExchangePlatform）ETL转换过程（计算、汇总、字段拆分/合并、比较、过滤、混合运算、函数、去重）主数据管理（MDM）元数据定义数据编码数据类型长度/精度业务规则技术规则取值范围清洗/转换抽取/加载订阅/发布规则校验作业调度质量检查规则定义数据管控主数据管理系统（CIF、UM、PF、PLANA）可配置化约束条件建设目标提供统一的数据集成规范、数据获取与分发、数据交换与共享、数据监控。提高数据加工、数据流转效率，加快数据在系统内、系统间的快速移动。改变传统的“多对多交换模式”，实现“一源多目标”的数据更新。问题现状数据集成、数据同步、数据共享困难（核心内各子系统之间、核心与外围系统之间）系统耦合度较高（A系统数据结构发生变化，需要B系统协同改造）dblink使用泛滥（性能开销大、存在数据安全隐患）19数据架构-数据交换平台（DEP）合作商DMZ区互联网DMZ区非核心生产网核心生产网交换前置中间表文本XML非结构化文件银保通信保通中介邮保通官网电商移动展业其他个险核心团险核心销售管理其他交换前置中间表文本XMLMIS再保其他数据交换平台全量抽取增量抽取数据清洗数据转换质量检查批量装载按事务顺序装载文件备份文件获取文件推送交换前置中间表文本XML非结构化文件非结构化文件基于内存的处理设计要点增量数据捕获：包括新增、更新；判断依据（时间戳、日志分析）细化调度作业：分清任务依赖关系，增大并行度，提高交换效率DEP功能定位-数据交换枢纽通过一定的“数据获取及分发”策略、作业调度策略，结合内置于各系统内的数据交换区，实现：（1）核心业务系统内各子系统（2）核心业务系统与外围各系统之间的数据交换、数据同步、数据共享，为OLTP、OLAP系统提供数据接口服务或数据文件交换服务。各系统配合DEP内置数据或文件交换区，提供中间接口表（源数据供应表、消费数据获取表）、格式化文件等。20目录•1•数据架构-定位、设计目标、设计原则、设计思路•2•数据架构-高效数据操作•3•数据架构-规划设计•4•数据架构-数据源、数据的准备、存储、加工、交换•5•数据治理-概述、数据现状、分阶段实施与当前进展•6•数据治理-元数据管理•7•数据治理-主数据管理•8•数据治理与标准化应用-业务建模、数据建模、数据样例•9•数据治理与标准化-成果展示数据治理-概述数据治理(DG)关于如何制定、实施针对整个企业内部数据的商业应用和技术管理的一系列政策和程序