无锡农商银行数据治理项目

数据治理项目科技信息部软件开发中心汇报人：顾琪冰项目简介02项目背景01项目功能03总结0401项目背景业务口径越来越复杂数据质量要求越来越高数据使用范围越来越广产品更迭速度越来越快数据治理全面风险管理客户管理产品创新主动营销项目背景01项目简介02项目功能03总结042016年2018年2017年打下基础稳步提升巨大改变建立全行数据管控体系架构，提高全行数据治理意识编制基础数据标准，建立数据标准管理制度及流程，形成全行层面的基础数据标准编制数据质量规范和管理流程梳理整个监管报送指标优化数据管理流程制方法完成初期大数据平台的搭建，简单应用场景的试用启动数据治理平台建设项目，重建基础数据平台优化数据管理组织架构建立元数据、数据质量、数据标准管理平台完成新数据平台的建设完成大数据风险预警建设经营报表高管驾驶舱业务人员报表开发能力建设监管报表报表服务数据文件服务数据服务需求/设计管理报表生命周期管理指标体系管理数据应用与服务平台管理报表及应用服务管理企业数据模型企业数据分布企业数据流转数据架构管理数据模型管理数据治理规划企业数据架构基础类数据标准指标类数据标准数据标准管理标准落地实施数据标准管理存量数据质量管理数据质量主动保证数据质量监控数据质量清洗数据质量平台建立增量数据质量管理数据质量管理业务元数据操作元数据技术元数据元数据获取与应用元数据管理数据授权数据审计数据安全管理主数据管理数据分类数据存储数据归档数据销毁数据备份与恢复备份存档管理数据恢复管理数据生命周期管理数据组织与职责数据控制与流程数据管理绩效技术支撑数据管控数据管控企业数据管理数据应用服务业务领域专项应用应用服务主数据规则管理主数据专业系统开发数据监控数据等级管理数据安全监控数据安全事故处理经营报表高管驾驶舱业务人员报表开发能力建设监管报表报表服务数据文件服务数据服务需求/设计管理报表生命周期管理指标体系管理数据应用与服务平台管理报表及应用服务管理企业数据模型企业数据分布企业数据流转数据架构管理数据模型管理数据治理规划企业数据架构基础类数据标准指标类数据标准数据标准管理标准落地实施数据标准管理存量数据质量管理数据质量主动保证数据质量监控数据质量清洗数据质量平台建立增量数据质量管理数据质量管理业务元数据操作元数据技术元数据元数据获取与应用元数据管理数据授权数据审计数据安全管理主数据管理数据分类数据存储数据归档数据销毁数据备份与恢复备份存档管理数据恢复管理数据生命周期管理数据组织与职责数据控制与流程数据管理绩效技术支撑数据管控数据管控企业数据管理数据应用服务业务领域专项应用应用服务主数据规则管理主数据专业系统开发数据监控数据等级管理数据安全监控数据安全事故处理经营报表高管驾驶舱业务人员报表开发能力建设监管报表报表服务数据文件服务数据服务需求/设计管理报表生命周期管理指标体系管理数据应用与服务平台管理报表及应用服务管理企业数据模型企业数据分布企业数据流转数据架构管理数据模型管理数据治理规划企业数据架构基础类数据标准指标类数据标准数据标准管理标准落地实施数据标准管理存量数据质量管理数据质量主动保证数据质量监控数据质量清洗数据质量平台建立增量数据质量管理数据质量管理业务元数据操作元数据技术元数据元数据获取与应用元数据管理数据授权数据审计数据安全管理主数据管理数据分类数据存储数据归档数据销毁数据备份与恢复备份存档管理数据恢复管理数据生命周期管理数据组织与职责数据控制与流程数据管理绩效技术支撑数据管控数据管控企业数据管理数据应用服务业务领域专项应用应用服务主数据规则管理主数据专业系统开发数据监控数据等级管理数据安全监控数据安全事故处理数据治理建设阶段02数据治理组织架构02总行数据主负责人数据使用人分支机构数据入人行长室决策层行长室组长：行长成员：各副行长协调层数据管控职能团队财务部：主持管控数据管理工作；统筹制定年度数据管理工作方案与目标；审核、监督及评估相关数据管理方案落实成果；针对重大事项及时上报信息科技委员会；负责全行监管报表统一报送及牵头监管指标体系梳理信息科技部：配合财务相关数据管理工作；为数据和系统责任部门提供数据领域的服务与支持，确保数据管理工作的有效落实；支撑业务部门大数据应用分析与大数据平台的开发执行层数据责任人体系数据责任人体系：在本业务条线内贯彻和落实数据管理政策、制度、规范，并执行数据标准和数据质量等数据管理相关工作；负责对数据相关的业务问题进行澄清；跟踪数据标准执行情况以及数据质量状况，并及时向数据管控职能团队汇报。系统责任人体系：在系统层面落实数据管理政策、制度、规范，并贯彻和执行数据标准和数据质量等数据管理相关工作；跟踪系统层面数据标准执行情况以及数据质量状况，并及时向数据管控职能团队汇报。项目组：由项目经理、架构师、需求分析人员、开发测试人员各角色组成。公司业务三农金融电子银行金融市场……总行业务部门总行分支机构数据责任部门数据管控职能团队配合、协调年度数据治理工作，提供科技领域的技术与支撑支撑业务部门大数据应用分析与大数据平台的开发汇报年度数据治理工作成果制定数据治理工作计划；协调年度数据治理工作；汇报年度数据治理工作成果；负责全行监管报表统一报送及牵头监管指标体系梳理；系统责任人体系系统负责人系统技术专家系统开发维护人项目组项目经理需求分析人员设计人员开发测试人员财务管理部信息科技部数据管理中心大数据管控组支撑数据治理体系框架02数据应用报表服务应用服务数据文件服务数据管理数据管控数据组织与职责数据管理绩效数据控制与流程技术支撑举措保障促进支持支持数据安全管理数据标准管理数据质量管理数据架构管理主数据管理元数据管理数据生命周期管理支持数据战略目标项目背景01项目功能03项目简介02总结04数据治理平台架构03EOD数据总线基础数据层ODS门户（统一认证、单点登录、角色权现管理）数据仓库ETL公共分析层数据缓冲区（StageArea）ETLETLETLETL财务管理系统信贷管理系统个贷管理系统微贷管理系统资金业务系统信用卡系统客户关系管理个人理财系统个人征信现金管理系统企业征信ECIF综合积分管理综合额度管理国际结算系统抵押品管理不良资产管理源系统人力资源管理系统风险数据集市信用风险市场风险操作风险风险加权资产风险管理监管数据集市EAST征信反洗钱监管合规财务数据集市财务管理预算管理管理会计综合分析管理系统固定报表多维分析灵活查询决策仪表盘产品管理系统电子渠道整合平台ETL统一监管报送核心业务系统1104营销数据集市客户管理客户积分CRM数据挖掘应用系统库内集市层分行应用层分析存储层历史数据区实时决策区非结构化数据处理区非结构化数据外部数据补录数据非现场审计大数据HiveMapRduce分布式架构高效运算大数据量吞吐数据整合数据治理物理架构03数据整合03模型指标客户号统一机构号统一产品号统一员工号统一数据整合行内数据（核心、信贷、、支付、理财等）行外数据（工商、法院、税务、同盾、Wind等）手机号统一配合ECIF完成客户整合03更新客户信息CRM非重要系统CIF模块渠道网银柜面座席手机终端用户认证仅限管理安全管理企业门户营销管理销售管理客户管理知识库服务管理客户视图业务系统（群）核心信贷核算网银理财…数据集成（DW）数据交换-ODS/EDW元数据管理数据存储管理ETL运作管理客户评级个人客户机构客户资产信息事件信息交易信息产品信息联系信息企业内容渠道信息ECIF客户客户经理营销信息更新客户信息更新客户信息客户相关信息客户信息部分客户相关分析结果帐户数据交易数据更新客户信息存储标识管理服务客户信息查询客户信息查询客户信息查询外购系统客户信息（信用卡等）数据模型033NF设计降范式建模优点：符合数据库规范数据量相对较少灵活性高，容易扩展相对稳定缺点：实施周期较长关联较多，性能差语义抽象优点：性能较高实施周期短无二义性缺点：稳定性较低扩展性欠佳相互结合容易理解运行高效扩展性好高稳定性设计规范对公贷款模型自主化分析03SAS数据分析工具可视化数据分析工具数据分析数据挖掘决策分析数据报表专业数据分析团队使用，为全行高级分析提供支持将技术语言转变为业务语言，通过拖拉拽的方式实现基本数据分析一个报表所能展示的内容是相对固定且有限的，不同的人看同一张报表，视角或想法都可能是不一样的！业务数据需求多变，数据使用范围变化较大，科技部门落地工作量大。数据分析需要多方配合，业务模型不全，专业化分析没有数据支持。数据分析工具晦涩难懂，对人员要求较高，准入门槛高。数据难以理解，无法转述为业务语言缺陷智能分析平台展示03数据管控数据标准数据质量元数据数据数据规范数据质量数据形态03部门间协作执行的力度常态化运作重点关注：数据管控是为了内部对数据的需求，提升数据服务水准而制定的相关流程、制度以及相关技术手段，是一项跨系统、跨部门、长期的、渐进式的工作。数据质量管理03•实现数据质量检测规则的定义、设置、运行和发现•将问题数据通过流程引擎下发到对应人员，监督相关人员处理和跟踪•记录问题处理结果，并形成质量知识库•对质量问题进行统计分析检核结果质量分析检核字段：OPERATERID记录总数：3397问题总数：285指标趋势分析趋势分析问题数：3问题数：7非空问题：31%长度问题：31%一致性问题：38%类型分析元数据管理03元数据版本管理元数据血缘分析元数据管理是针对信息系统元数据变化的日常管理和维护，有效管理变更的各个环节，建立向相关单位发布变更的机制，从而为数据正确使用提供保障。数据标准主题标准大类标准小类标准中文名称标准业务定义标准类型代码编号长度精度数据模型中文名称数据模型英文名称数据模型字段中文名称数据模型英文名称数据模型字段类型数据模型字段长度客户通用信息基本信息客户号我行为统一管理，根据既定规则生成并分配给客户的唯一编码，在全行内具有唯一性。客户包括公司客户和个人客户。公司客户是法律上以法人实体为资格条件与银行发生往来，在我行开立在账户、持有我行一种（含）以上资产、负责或中间业务类产品的客户。个人客户是以个人身份出现，法律上以自然人为资格条件与银行发生往来，在我行开立在账户、持有我行一种（含）以上资产、负责或中间业务类产品的客户。编码型/30/对公客户信息S_CI_CUS_COM核心客户号CORE_CUST_NUMVARCHAR30客户通用信息基本信息客户名称（个人）记录能够唯一识别对私客户的中文名称或英文名称。（公司）描述客户或集团关联组的完整中文名称。公司客户的名称为经过法律程序登记并能够在公共活动中使用的名称；集团关联组的名称为我行内部对该组客户的整体叫法。文本型/100/对公客户信息S_CI_CUS_COM客户中文名称CUST_NAMEVARCHAR100客户通用信息基本信息客户英文名称客户的英文名称，对于境外客户的英文名称应该经过法律程序登记并能够在公共活动中使用的名称。文本型/100/对公客户信息S_CI_CUS_COM客户英文名称CUST_EN_NAMEVARCHAR100客户通用信息基本信息证件号码对应证件类型上所标识的证件号码，如组织机构代码等。其中，身份证号码编码规则参见国标：GB11643-1999《公民身份号码》，组织机构代码编码规则参见国标：GB11714-1997《全国组织机构代码编制规则》。编码型/40/对公客户信息S_CI_CUS_COM组织机构代码CUST_ORG_ORG_CDVARCHAR40客户通用信息管理信息客户开户机构记录我行首次建立客户信息的机构编码信息。编码型/20/对公客户信息S_CI_CUS_COM开户机构OPEN_ORG_NUMVARCHAR20客户通用信息管理信息客户所属机构记录我行为该客户所指定的归属机构编码信息。编码型/20/对公客户信息S_CI_CUS_COM管理机构MGMT_ORG_NUMVARCHAR20客户通用信息联系信息地址客户对应相应物理地址类型的具体地址信息。文本型/100/对公客户