商业银行数据仓库建设规划

南充市商业银行数据仓库建设规划南充市商业银行科技部第1页概述第2页数据仓库业务支持的目标数据仓库的投产不同于传统的信息系统，它是萃取原始数据转换成决策信息，进而衍生企业智慧的一段旅程，数据仓库系统的投产是旅程的起点而非终点。数据仓库的价值体现在深度运用中，用于持续改善的过程，而非一个短暂的项目。建立成熟完备的BI环境进行业务支持是一个重要手段，应该建立、健全一套完整的业务支持流程，针对不同特点的应用使用不同的方式，提供不同种类的应用模式，从而提高对业务需求的响应速度和质量。除了流程的规范，还应该完善EDW自身数据体系的建设，同时加大用户的培训力度，用各种可能的方式和渠道推广数据仓库，实现最大程度发挥信息平台业务价值的终极目标。第3页数据仓库的应用模式随机查询–具有IT和业务两方面的知识和技能，进行任意数据探索和查询，回答各种未预先定义的业务问题。数据挖掘–在灵活分析的基础上，对某些业务问题进行数据属性的提炼和归纳，如“评分模型”、“违约模型”、”细分模型”等。应用系统–支持复杂业务逻辑的应用系统，典型的包括营销管理、利润贡献度、平衡计分卡等。国际先进银行的企业级数据仓库系统实践表明，应用系统的开发离不开需求的成熟和稳定，只有通过大量的灵活分析和数据挖掘的应用，才能形成成熟稳定的应用需求，反之，应用系统在业务中的大量使用，又会促进分析人员更加深入、有效的分析探索数据。DataMining(Modeling)ApplicationsAdHocReports固定报表–以固定模式回答简单、常规的业务管理、统计类问题。第4页应用模式描述应用模式定义及特色与其他应用模式关系关键点Report固定报表该应用模式主要满足常态，定期的业务统计需要；具有确定性和普遍性，也包含一些常态的交互式报表•部分常用的，能够提炼出共性的灵活查询可能会转化为固定报表;•报表的管理，建立准入与退出机制；•数据共享管控Ad-hoc灵活查询具有IT和业务两方面的知识和技能，进行任意数据探索和查询，回答各种未预先定义的业务问题具有随意性和不可重复性•浏览固定报表发现问题，并进行问题的追踪；•探索性问题的获取,并转化成Report需求；•建立有效的支持中心，支持服务并推广•培训和推广是要分步骤分阶段分别推广Application应用包括分析型应用和操作型应用，分析型应用由一系列逻辑整合的固定报表，交互式报表和数据挖掘的结果构成,在明确的业务主题内的流程和任务的指导下，提供整合的信息，使得用户能够访问，分析与操作；可以将各类的结果直接部署到操作型应用上，用于指导业务流程和业务操作，一般多用于前端营销系统•分析型应用并不是一堆报表的堆砌，而是将固定报表和交互式报表甚至数据挖掘的结果嵌入流程中，体现一定的管理逻辑•建立业务解决方案架构小组；•应用数据共享管控DataMining数据挖掘通过模式识别与数学模型技术从数据仓库中的大量明细数据中发现隐藏的模式与趋势，预测未来趋势及行为，做出前摄的、基于知识的决策。目标是从数据库中发现隐含的、有意义的知识•数据挖掘应该和分析型应用系统嵌套使用，并整合至业务流程中，将业务决策和营销管理文化发生转变如何将数据挖掘与应用系统整合发挥作用，而不是为了数据挖掘而数据挖掘第5页应用模式一:灵活查询特点：•随机性－随时发生、可以由任何部门发起。•时效性－应对突发需求的相应能力，要求比较高。•开放性－可能是简单统计，或是某种测算，或是某项明细数据查询，也可能是某种复杂逻辑的处理。•独特性－特定的目标，特有的度量、专用的视角和算法。•不确定性－过程不确定、方法不确定、查询路径不确定、分析结果不确定、表现形式也不确定。关注点：•需求、数据、效率的平衡•业务人员的参与和交互•提供知识共享的途径和办法分析模板用户培训•依赖条件数据的了解业务知识和经验查询分析工具的运用沟通、应变能力利用分析工具直接进行任意的数据探索和查询，回答各种未预先定义的业务问题。第6页应用模式二:固定报表特点：•确定性－信息所涉及的度量和维度是确定的、权威的，一般由归口业务部门对其进行明确定义。•普遍性－信息经常在部门内部乃至全行的信息需求中多次出现；简单、容易理解，对用户要求不高。•跨系统－不依赖单一业务系统，需要全局视图。关注点：•信息共享•统计口径•大用户量•主要元素维度、指标设计报表设计规范控制总量准入准出制度数据要求：语义层的准备固定报表是数据仓库信息共享的主要途径之一，是最重要的展现方式。部分常用的，能够提炼出共性的灵活查询可能会转化为固定报表第7页应用模式三:应用特点：•逻辑整合—某种程度的业务逻辑内嵌于此应用以便用户能够按照一定的规则完成其任务。•交互式—相对于操作型应用非常固定的用户界面，分析型应用提供交互式的访问途径。•信息整合—分析型应用是以业务主题为导向的，会使用多个信息来源。建构在数据仓库环境上的分析型应用在多个维度上保证信息的一致性。•业务主题—应用一定是服务某个业务主题定义。例如风险管理、营销管理等。关注点：•自建还是购买•架构和部署BI架构数据架构技术架构•主要元素外观和感受业务逻辑报表和分析功能数据模型数据映射包括：分析型应用和操作型应用；而分析型应用绝不仅仅是固定报表随意的堆砌，应用系统中特意设定的业务逻辑可以帮助用户逐步访问与分析一系列交互式的报表，并在特定的业务主题背景下采取经过优化的行动。第8页应用模式四:数据挖掘特点：•全面性－挖掘模型使用的数据通常都需要大量详细的历史数据支持，大多需要跨业务领域进行综合的关联分析。•专用性－大多数挖掘模型都是针对某个特定领域的特定问题创建，应用的范围和服务的对象都比较特定。•抽象性－数据挖掘使用的统计技术以及模型的产出结果都具有高度的抽象性。•周期性－挖掘模型的创建是基于建模时的训练和校验数据，一段时间后可能需要根据性能对模型进行回顾和调整。关注点：•业务人员的参与资质目标规则•架构仓内仓外•产出结果存储发布应用从大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的过程，主要基于人工智能、机器学习、模式识别、统计学等技术，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。第9页应用模式综合应用场景•应用模式和需求并不是一一对应的，一个业务需求的提出和解决可能需要多种应用模式的综合应用挽留客户示例看看最近客户流失率是否有异常？他们有什么特征？能不能提前发现？查查原因？挽留成功！！部署在应用中，例如事件式营销报表挖掘灵活查询应用同业案例四:某股份制银行界面同业案例四:某股份制银行界面同业案例四:某股份制银行界面第13页同业现状同业案例一:某国有银行数据应用层数据整合层数据交换层基础环境层DW数据集成历史数据管理各类MIS市场客户风险统一数据交换离线数据管理元数据管理统一调度监控平台综合统计报表专题集市集成信息服务主机数据交换通用文件传输业务分析同业案例二:某区域银行数据应用层数据整合层数据交换层基础环境层DWEDIP历史数据管理各类MISMACRM风险离线数据管理统一报表信息系统元数据管理数据质量管理数据标准管理统一ETL平台统一报表平台统一卸数ECIF事件式营销信贷集市集成信息服务数据交换平台营销反洗钱信贷同业案例三:华东某城商行数据应用层数据整合层数据交换层基础环境层DWODS历史数据管理各类MISMAACRM风险准实时数据管理业务快报元数据管理数据质量管理数据标准管理统一ETL平台统一报表平台操作型应用专题集市应用数据集成服务准实时数据服务历史数据服务同业案例三:华东某城商行一期之前背景……核心信贷个贷三存国债基金理财总账管会债券国贸人力绩效抽取ETL数据接口PORTAl银企对账风险监控CRM反洗钱非现场审计1104FTP同业案例三:华东某城商行一期结束的架构BIOffice……核心信贷个贷三存国债基金理财总账管会债券国贸人力绩效抽取ETL数据接口PORTAl管理驾驶舱银企对账基础数据层FDM汇总数据层ADM协议团体事件帐务产品渠道公用数据集市层ETL平台部门报表报表集市数据接口数据交换平台历史拉链轻度汇总指标汇总集市汇总复杂报表仪表盘多维分析即席查询同业案例三:华东某城商行二期结束的架构BIOffice……核心信贷个贷三存国债基金理财总账管会债券国贸人力绩效抽取ETL数据接口PORTAl管理驾驶舱基础数据层FDM汇总数据层ADM协议团体事件帐务产品渠道公用数据集市层ETL平台部门报表报表集市数据接口数据交换平台客户数据集市数据管控分行数据支持历史拉链轻度汇总指标汇总集市汇总复杂报表仪表盘多维分析即席查询银企对账短信平台CRM绩效考核非现场审计应用及数据延续同业案例三:华东某城商行一期价值汇总模型基础模型报表平台ETL平台报表应用专题应用技术数据应用业务价值管理驾驶舱（管理者数据）部门管理报表模型(FDM、ADM)数据接入数据供应ETL平台;公共应用平台;数据交换平台一期的能力：应用：建立公共应用平台，具备决策支持、数据分析支持能力数据：全行数据集成能力（ODS数据模型）；全行数据交换能力技术：BI应用门户；ETL处理中心同业案例三:华东某城商行二期价值汇总模型基础模型报表平台ETL平台数据管控平台报表应用专题应用技术数据应用业务价值管理驾驶舱完善部门管理报表完善CRM优化支持数据库营销支持模型扩充（数据接入）数据供应（新增、迁移）客户主题集市分行数据规划数据管控平台平台升级完善二期的能力：应用：决策支持、数据分析支持能力；分行服务支持能力；客户主题分析数据：全行数据交换能力；全行数据集成能力；数据管控能力技术：BI应用门户；ETL处理中心；数据管控平台第22页项目背景当前行内系统分类联机交易系统核心业务系统：资产、负债、结算（同城/跨行/票据等）、分录账务、报表、客户账户管理、公共（角色/权限)外汇系统：外币综合系统，账户、客户、负债业务、分录账务、报表卡平台系统：ATM/CDM、POS、银联、兴业柜柜通、城商柜面通的渠道接入MBFE支付系统：人行大小额支付前置综合前置系统：代收类业务、网银接入、代付类业务的渠道接入网银系统：外包方式，当前在自建其它：财务系统、电话银行接入前置、网银接入前置、TIPS系统、指纹识别系统、电票系统......数据系统财务系统的报表模块：监管机构报表流程系统OA系统：公文流转与审批，公告和办公沟通信贷管理系统：流程管理、信息管理、基本数据分析风险监管系统事后监督系统：票据监督、账务监督、操作类风险事后检查压力测试系统：在建其它系统反洗钱、反假币、征信系统等，主要为监管机构要求的系统系统类型占比1：本币、外币核心系统分开，客户、账户、渠道、公共信息不能共享，不利于业务拓展和新产品创新2：联机交易系统前置众多，故障风险点高，维护量大3：数据系统不足，难以满足决策分析的要求4：流程类系统集中在专项系统，对全行商业流程管理、信息内容管理支撑有限5：风险监管系统缺少操作风险管控和风险预警系统信息系统的业务支撑情况服务层操作层科技客户经理决策层分管行领导董事长监事长行长智囊层业务法规市场产品…执行层零售业务公司业务中间业务投资业务同业业务…分行管理层分行领导分行部门领导…客服人员…风管/审计OA/邮件系统信贷管理系统后督系统人力资源综合…柜员联机交易系统绩效考核系统已投产信息系统管理组织架构业务和数据要求总账数据报表办公支持决策管理系统其他数据分析数据分析和挖掘日常办公支持报表和钻取客户经理和门柜管理办公支持、客户管理执行性/监管性报表分行经营数据分析分行报表和查询日常办公对公、对私存贷业务中间业务电子渠道交易企业数据总线在规划的信息系统各电子渠道系统行内重要信息系统数据图存在问题当前存在问题整个架构为网状结构，相互影响较大维护量巨大数据口径不统一指标不全面今后拓展存在得隐患数据存放零散,存在数据冲突,无法支持灵活查询和应用,缺乏对业务拓展的持续支撑没有全面一致得数据历史积累,今后无法进行数据挖掘