搜索
对公数据集市介绍对公数据集市项目组2014年1月目录03040605070102目录03040605070102•数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策。•数据仓库的四个特点：•1）面向主题•2）集成•3）非易失•4）随时间变化数据仓库概述•操作系统是面向事务处理的。事务处理关注的是整个事务操作流程，即操作系统是围绕事务操作流程来组织数据的。•数据仓库是面向主题的。主题是管理人员分析问题的重点。面向主题就是所有的数据都是根据主题来组织的。即数据仓库的数据都是围绕分析的重点来进行组织数据的。面向主题面向主题操作系统数据仓库票据信用证贷款客户协议产品•集成是数据仓库最重要的特性。•集成并不是简单的把数据聚合在一起，还要消除数据的不一致性。由于数据仓库是面向主题的，一个主题下可以包含多个源系统的数据，只有统一各个源系统不同的编码，才能在同一个主题下汇总、分析数据，从而消除不同系统间的信息孤岛问题。集成客户A：A1性别男：M机构O：O1客户A：A2性别男：0机构O：O2客户A：A3性别男：1机构O：O3客户A：A性别男：M机构O：O操作系统数据仓库…核心信贷国结MAPPING•操作系统是实时、事务级的更新和小数据明细的查询。•数据仓库是定期、批量更新和大数据汇总查询的。由于数据仓库一般并不会更新历史数据，所以数据仓库是非易失的。非易失操作系统数据仓库载入访问修改增加删除查询•操作系统一般只会保留数据的最新记录。•数据仓库需要保留各个历史时点的数据，已便于对数据在时间维度上进行分析、挖掘。随时间变化操作系统数据仓库时间期限：近三个月记录更新日期戳可有可无时间期限：5~10年复杂的快照数据时间维度•自顶向下：先建设数据仓库，再建设数据集市•自底向上：先独立建设数据集市，在统一维度总线的基础上合成数据仓库数据仓库的两种建设方式核心信贷国结…数据仓库对公集市零售集市风险集市…核心信贷国结…数据仓库对公集市零售集市风险集市…自顶向下自底向上统一维度总线一般银行业数据平台架构数据架构中的关注点（五个维度）目标•服务数据加载；•直接提供基于源系统结构的简单原貌访问；•长期的，细节的，整合的数据存储；•为BI环境中的各类业务需求提供支持•相对通用，具业务意义的初加工数据；•作为上层应用数据加工的基础，或供业务人员直接访问；服务特定应用原则•简单处理，不考虑整合；•关注保留策略；•面向全局，数据整合•中性设计，灵活扩展•提供规范和共享•提炼应用需求共性•多种数据粒度•易于理解和使用•面向具体应用•按需设计形式•偏源系统模型；•少量数据保留短暂历史；•部分数据保留全量•面向主题设计；•偏范式化；•长期保留历史；•初步数据加工；•分层设计；•形式各异，依具体应用不同；重点•理解源结构•主题定义•框架设计•整合策略•实施方法•应用筛选•应用提炼•整体性•一致性用途•业务原貌查询•即时报表•数据质量检查•灵活查询•整合规则检查•常规报表•灵活查询•业务规则检查•特定应用缓冲层基础层汇总层应用集市层数据架构之EDW12数据平台上报数据报表数据指标数据查询数据参数数据挖掘数据....信用卡网银基金代销核心信贷国结EDW数据缓冲层（FDM）核心信贷国结信用卡网银基金代销LDM汇总数据账户汇总交易汇总产品汇总渠道汇总客户汇总整合数据层（LDM）协议团体事件账务产品渠道•供统一的业务口径•避免集市的重复加工•随着应用建设逐步完善•业务统计口径变化，ETL会随之变化•视情况保留较长历史•为ETL方便设计的专用层，可加载增量或全量数据•在此层完成数据同构化•数据原样加载，保持与源结构一致•一般按照业务系统进行命名识别•可保留部分最近数据以供重新加载•面向整合•主题设计•标准化数据•3NF设计•保留较长历史数据集市（DM）管理会计数据集市风险管理数据集市客户关系数据集市财务管理数据集市经营管理数据集市其他业务数据集市•面向应用，按需定制•可分为内部集市和外部集市•可通过反范式提高响应性能•可为汇总层提供扩充依据•视情况保留较长历史•从前面一般银行数据仓库的架构可以看出，数据集市是数据仓库的一个子集，是为特定的分析应用而建设的。•数据集市根据所处位置的不同分以下几类：数据集市数据仓库源系统....信用卡网银基金代销核心信贷国结数据缓冲层仓内物理集市仓外物理集市仓内逻辑集市整合数据层共性汇总层目录03040605070102•资产业务（客户立场）：活期：单位活期存款是指，不规定存款期限，客户可以随时存取，并按活期存款利率按季计取利息的存款。定期：单位定期存款是客户与我行事先约定存款期限，到期后支取本息的存款。保证金：保证金是指客户或第三方为担保客户履行与我行签定的相关合同义务，出于设置担保目的而存入我行的，归客户或第三方所有但由我行占有的特定化的资金。•负债业务（客户立场）：一般贷款：负债业务主要是银行对单位客户提供资金融通的表内业务。一般贷款是指一般的资金融通业务，不包含保理和贴现。保理：保理是一项综合性金融服务。在保理业务中，卖方将其现在或将来的基于其与买方订立的货物销售/服务合同所产生的应收帐款转让给银行，由银行提供贸易融资、账户管理、应收账款催收、风险控制等服务。贴现：贴现是商业汇票的持票人将未到期的商业汇票转让给银行，银行按票面金额扣除贴现利息后，将贴现金额付给持票人的一种融资行为。银行对公业务•表外业务：•所谓表外业务，即不计入资产负债表的业务，国家对这部分业务的限制较少，也不影响银行资产负债表，是目前银行大力发展的业务。保函：又称保证书，是指银行、保险公司、担保公司或个人应申请人的请求，向第三方开立的一种书面信用担保凭证。保证在申请人未能按双方协议履行起责任或义务时，由担保人代其履行一定金额、一定期限范围内的某种支付责任或经济赔偿责任。银行保函包括履约保函、预付款保函、投标保函、维修保函、预留金保函、税款保付反担保函、海关风险保证金保函等。信用证：信用证系指，银行依照申请人的申请向受益人开出的，凭符合信用证条款规定的单据支付一定金额的付款承诺。信用证是国际结算的一种重要工具。银行承兑汇票：银行承兑汇票是指，由承兑申请人签发并向开户银行申请，经银行审查同意承兑的商业汇票。其中，商业汇票是出票人签发的，委托付款人在指定日期无条件支付确定的金额给收款人或者持票人的票据；承兑是指汇票付款人承诺在汇票到期日支付汇票金额的票据行为。银行对公业务目录03040605070102为更好的贯彻最佳银行战略，做好公司业务客户管理和营销工作，进一步巩固和发挥平安银行业务优势实现公司银行的战略目标。为适应平安银行对公业务管理需要，为支持最新的对公业务管理工作方针，为配合、推进平安集团综合金融的战略要求；必须实现银行对公客户信息整合，形成对公数据集市,通过整合客户的数据信息，进一步挖掘客户的价值信息，更好的支持公司业务客户营销、管理分析工作的开展。挖掘客户的潜在需求，为我行制定个人业务发展战略、产品创新、客户服务的准确定位提供了良好的、科学的分析依据。同时，为战略客户的营销和管理提供依据，通过客户信息的整合，客户经理及各层级管理领导、各分支行机构能全方位的360度的了解公司客户过去及现状的全貌，能第一时间了解客户的营销意向，能清晰的知道客户给我行带来的价值，以日常工作平台为高效的沟通管理工具，对重点项目、销售机会和营销活动等营销服务管理的资源共享和工作协同，实现银行E化营销销售流程管理，并带来新的客户服务体系、科学的市场营销策略、更低的营销和服务成本、更高的客户保留率、优化的银行市场价值链条、以及增加银行业务量、提高商业银行核心竞争能力，实现公司银行的战略目标。项目背景项目目标功能范围简述银行对公客户信息整合包括客户基本信息、客户产品信息、客户销售信息、客户价值信息等，建立统一完整的客户360视图建立对公营销产品目录树配合对公条线各部门基于产品营销的需求，建设一套以产品归口管理部门划分的产品目录树统一对公系统群数据源各个业务单元和对公管理系统使用数据源统一由对公数据集市提供（本期为精准营销平台，对公报表提供数据支持）实现对公条线各部门各事业部功能及报表数据需求完善对公业务分析统计模型，使之能够全面的支撑各业务单元的功能及报表统计需求支持事业部、分行等机构考核配合各部门基于产品核算的需求，协助事业部及分行等机构的考核、调整。目录03040605070102集市总体架构对公数据集市（Oracle（11G））明细区汇总区数据采集平台应用系统ODS数据平台ETL（落地文件）历史归档数据标准管理数据质量管理业务应用数据实时数据服务数据服务区批量数据服务直连应用数据整合与输出源系统核心信贷网银票据国结第三方补录……对公CRM对公绩效对公客户升级对公报表精准营销平台SAS指标区交易系统点对点文件传输应用数据整合与输出报表数据挖掘区部门特色需求收益、补录数据PDM（明细层GreenPlum）集市数据架构应用系统数据标准管理数据质量管理源系统ODS平台汇总区指标区数据服务区报表数据部门特色需求数据差异统计临时统计其他需求专题分析挖掘区业务应用数据SAS直连固定报表多维报表管理驾驶仓对公CRM对公绩效对公客户升级精准营销平台余额汇总贡献度汇总产品汇总其他汇总交易汇总客户扁平化客户标志对公CRM对公绩效对公客户升级对公报表精准营销平台SAS账户数指标客户数指标交易量指标资产类指标负债类指标收支类指标明细区利率类指标客户主题汇总区部门快报其他指标指标区精准营销平台数据服务区客户基本信息客户映射关系客户联系信息帐号主题账户基本信息账户扩展信息账户客户关系产品主题产品基本信息产品账户映射客户权益客户收益信息客户风险信息客户分层标准交易主题交易整合信息交易对手信息银行组织财务主题附属信息各系统账务信息银行机构信息银行员工信息公共信息公共维度信息其他附加信息明细数据区集市物理架构对公数据集市环境配置：生产环境：2台IBMP7208C32G1T存储IP：10.1.39.224、10.1.39.225集市数据加工流程目录030406050701021.集市功能介绍2.生命周期管理3.调度批次介绍对公数据大集中（集成21个对公系统数据）序号系统业务数据1统一客户信息系统（BECIF系统）客户基本信息（客户号统一，先行统一客户升级及对公CRM）2核心系统客户基本信息、账户信息、国内保函信息、现金管理信息、存款信息、贷款信息、传票信息、机构信息、科目信息、（还款利息）、欠息等3信贷系统客户基本信息、授信业务品种信息、授信审批信息、授信合同信息、授信借据信息、抵押物信息、担保物信息、其他重要信息等4票据系统客户基本信息、承兑汇票信息、票据贴现信息、开票申请信息等5国际结算系统客户基本信息、国内信用证信息、进口信用证信息、进口保函信息、汇入汇出信息、托收（跟单、光票）信息、外汇买卖信息、传票数据等6基金与理财系统客户基本信息、客户签约信息、基金交易信息、理财交易信息、基金余额信息、理财余额信息7保理系统客户基本信息、保理产品信息、保理交易信息、保理余额信息、发票信息8黄金系统客户基本信息、签约信息、黄金产品信息、现货交易信息、延期交易信息、库存信息。93方存管系统客户基本信息、签约信息、产品信息、交易信息、余额信息、券商信息10国债系统客户基本信息、签约信息、国债产品信息、国债交易信息、国债余额信息11网银系统客户基本信息、签约信息、交易信息12银企直联系统客户基本信息、签约信息、交易信息13供应链系统客户基本信息（包含核心企业信息、监管方信息）、签约信息、供应链信息、抵押物信息、供应链产品信息、交易信息14中间业务平台客户信息、代发、代付账户信息、交易信息15会计核算系统(SAP)客户收益信息（ftp与利息）、产品目录树及相关信息、中间业务交易信息16风险资产管理系统（RWA）RWA风险资产信息（风险金额）17绩效系统客户、账户分配信息、客户主办客户经理信息18CRM系统客户主办客户经理信息、客户合并信息、产品目录及配置信息19人力资源管理系统（NHR）客户经理人员基