商业银行-BI架构体系

LONGTOPGROUPLongtopFinancialTechnologyCo.,Ltd.商业银行BI架构体系技术培训1主题„BI架构概述„商业银行BI架构体系„专题架构介绍„Q&A2BI架构概述„BI概述„商业银行IT概述3早期BI产生的背景„商业智能的发展也得益于相关技术的发展，并行处理系统、廉价数据存储、新数据挖掘算法、神经网络技术、人工智能技术、决策支持技术、从大量数据中发现其后潜藏的商业机会等等技术的发展，使企业能以更低的成本投资商业智能，并取得更高的IT投资回报率。销售成本库存客户服务……拥挤数据数据信息信息知识知识资产资产整理、统计整理、统计挖掘挖掘产生经济效益产生经济效益BIBI数据=资产4商业智能的基本概念„BI(BusinessIntelligence，商业智能)。1989年由GartnerGroup的HowardDresner首次提出来。„BI是将数据转换成知识并将知识应用到商业行为上的一个过程——DataWarehouseInstitute„BI是将数据转换成信息的过程，然后通过发现将信息转化为知识——GartnerGroup5BI相关概念：OLTP与OLAP的区别OLTPOLAP概念/功能传统的关系型数据库的主要应用基本的、日常的事务处理复杂的分析操作，侧重决策支持，提供直观易懂的查询结果用户操作人员,低层管理人员决策人员,高级管理人员DB设计面向应用面向主题用户数上千个上百个数据当前的,最新的细节的,二维的分立的历史的,聚集的,多维的集成的,统一的存取读/写数十条记录读上百万条记录/按块读取工作单位简单的事务复杂的查询DB大小100MB-GB100GB-TB6BI系统的数据流向数据源数据源ERPRDBExcelDataExcelDataTxtDataTxtDataDataTransformationDataTransformation验证规则验证规则清洗规则清洗规则映射规则映射规则聚合规则聚合规则数据目标数据目标RDB数据验证数据清洗数据集成数据聚合数据抽取数据装载7数据仓库技术的发展趋势8BI架构概述„BI概述„商业银行IT概述9商业银行IT系统总体架构10核心业务系统—架构系统控制层业务管理层渠道接入层(EAI)交易控制交易日志批量性能监控CIF总帐业务处理层前台应用层柜面POSP/ATMPCALLCENTER网银Mobilephone/PDA抵押品管理额度控管CNAPSETL/ODS后台应用CRMALMIRB风险管理绩效考核决策支持债券票据凭证借记卡行内外清算支付结算国结衍生品外汇买卖同业拆借存款贷款产品工厂费用管理假期表利率权限管理机构管理业务规则汇率会计核算公共信息中间业务平台柜员管理帐户管理工作流批处理公共参数财务系统外部资料黄金理财同城交换临柜业务企业现金管理内部核算监管报表管理会计审计反洗钱11国际结算系统—架构12网上银行—架构13BI建设的常见工具产品组合„系统建设…数据模型zODS数据模型（基础数据层、公共汇总层）zEDW数据模型（基础数据层、公共汇总层）zKPIs模型z集市模型（CRM、ALM、RPT）…数据加工z加工工具：DataStage,Informatica,SP,Por*C,Shell,Perlz算法模型：贡献度模型，EVA模型，客户积分模型，客户识别模型z规则引擎：…应用展示zBI工具：Cognos、BI.Office、Brio、BOzWebServer：Websphere、WebLogiczPortzLDAP14主题„BI架构概述„商业银行BI架构体系„专题架构介绍„Q&A15商业银行BI架构体系„架构体系理论„架构设计方法„商业银行BI架构„架构的评估16为什么需要架构？„Intheabsenceofarchitecture&governance,capital&operationalcostshigh„Lowerbusinessefficiencyandeffectiveness„Slowertimetomarket8917企业架构的用途18数据架构不当导致的高成本19DataTechnologyApplicationBusinessCapture,processing,ManagementTransporting/StorageHostingtorunhardware,network,communicationsAppSoftwareBusinessActivityandprocessinput/outputData/infoflowAutomation&DecisionMakingSupportInfrastructureSupportITArchitectureIT系统的架构模块Security20业务架构原则展示业务自动化、辅助决策支持的功能结构及相关实务场景。„配合商业银行的业务发展策略„充分利用商业银行的最佳实践…开发多元化金融产品，如发展经纪市场…以产品组合大力推广个人金融业务…依托高科技提供网上银行增值服务…在投资银行领域争取主动…为中小企业提供金融服务…拓展高收益的资本运营市场21应用架构原则侧重于对业务支持的实现方法及功能模块的原则、关系描述。„可用性„可扩展性„可管理性„易用性„安全性„可重用性„风险可控性22数据架构原则侧重于数据的采集、处理、输入、输出、管理，以及数据的流向、关系、分布等„数据共享使用„避免数据冗余和数据复制„可扩展性„数据处理集中化„可用性23数据架构面临的问题与挑战241.Virtualdatawarehouse(suchasuniversaldataaccess)1.Virtualdatawarehouse(suchasuniversaldataaccess)2.Manydatamarts2.Manydatamarts3.NouseraccesstothedatawarehouseDMDMDMDMDMDMDMDM4.SelecteddatamartsanddirectuseraccesstothedatawarehouseDMDataTopologyChoicesforBIDMMiddlewareDynamicQueryofthePlethoraofOperationalSourcesDMOperationalSourcesDMDMDWDW数据架构形态25各种数据架构的优缺点各数据架构的比较26数据架构布局中需要考虑的7个方面27技术架构原则描述基础技术环境、软硬件环境、网络环境、产品、工具、接口协议等„基础架构…产品选择、技术组件选择、技术标准（开发平台、工具、软件、硬件、操作系统、数据库）„接口服务…接口标准、内部接口、外部接口…可集成性„网络环境…网络资源、高可靠性（数量、性能、容量和链路带宽）、…可用性、可扩展性、安全性、可管理性、高效性、有效性、工业标准„系统管理…系统性能需求、容量统一监测…软件升级和分发…统一系统操作…问题管理、变更管理、可用性管理28与原有架构的整合„门户整合…统一身份管理…统一访问入口…统一界面风格…内容管理-实现内容的创建，发布，审批，发布，搜索，个性化…协同工作-如内部论坛、日程表、工作任务、网上会议、即时通讯等，让用户方便沟通和办公„前端整合„应用整合„数据整合29商业银行BI架构体系„架构体系理论„架构设计方法„商业银行BI架构„架构的评估30整体思路（一）可行性分设计与调现状分评优¾现状分析方法¾目标¾范围¾数据收集¾分析工艺¾评估方法分析¾评估模型¾评估指标库¾发展路线图探讨¾发展路线图¾现状调研¾问题调研¾信息收集(设计)¾生产环境调研¾专题交流会¾评估方法设计¾评估模型¾评估指标库¾发展路线图设计¾发展路线图¾问题分析¾系统数据分析¾数据模型¾数据加工¾生产环境分析¾数据存储¾数据传输¾数据时效¾运维¾问题点评估¾现状评估¾系统评估¾数据线评估¾发展路线图评估¾优化建议¾系统优化¾数据线优化¾评估方法优化¾发展路线图优化项目管变更管知识管质量控风险控现状分析工艺技技术需求工具选择工艺设计案例验证培训信息收集评估模方法梳理原型设计案例验证原型调整模型设计模型优化架构设计方法概述31架构设计流程可行性分调‡现状分析方法‡评估方法分析‡Roadmap探讨‡范围确认‡问题调研‡信息收集（设计）‡生产环境调研‡专题交流会分‡系统能力评估‡数据线能力评估‡发展路线图评估评‡问题分析‡系统数据分析‡生产环境分析‡可实施的优化建议‡评估方法优化‡发展路线图优化优‡建立评估指标库‡建立指标权重体系‡建立发展路线图评估方法设32最佳实践=企业自身环境和需求+业界指导原则33数据战略(DataStrategy)数据治理(DataGovernance)元数据管理(MetadataManagement)数据质量管理(DataQualityManagement)数据标准(DataStandardization)数据集成数据建模数据安全与保护数据访问数据存储数据加工/传输主数据数据架构的基本要素34商业银行BI架构体系„架构体系理论„架构设计方法„商业银行BI架构„架构的评估35通用商业银行结构体系VS36前端应用基础数据平台数据集市数据源InformixDB2OracleSQLOAXMLFileFlatFile业务应用SystemofRecordSystemofRecordAnalysisAreaAnalysisAreaSummaryAreaSummaryAreaOLAPOLAPStagingAreaStagingAreaBusinessSolutionApplicationBusinessSolutionApplicationEndUserEndUserRealReal--TimeTime企业级数据中心实时数据仓库商业银行架构层次解决方案37企业数据中心EDC目标数据区数据源数据采集平台交易系统MIS系统LDMLDMCDMCDMOLAP|RPTOLAP|RPTDataMartDataMartOLAP|DBOLAP|DB前端应用BI&AA类应用ReportReportOLAPOLAPQueryQueryDashboardDashboardDataMiningDataMiningAlytAlyt. App.. App.近实时类应用风险监控风险监控KPIKPI监控监控…………近实时数据交换MISMISDBDBEDI平台（Enterprise Data Integration）调度调度||监控监控||事件事件|JOB|JOB数据分发数据分发工具集（工具集（ETL|SP|SCRETL|SP|SCR））EDG（Enterprise Data Governance）数据标准管理数据标准管理元数据管理元数据管理数据质量管理数据质量管理SDS企业级统一运营管理平台企业级统一运营管理平台EMPEMP（（Enterprise Maintain PlatformEnterprise Maintain Platform））以EDW为EDC模式灾灾备备数数据据中中心心近实时近实时数据库数据库CallCenterCallCenterOCRMOCRM网上交易网上交易SDATASDATA操作型数据供数服务外部监管供数服务总部批量数据服务交易系统交易系统操作型操作型MISMIS分发数据缓存区38数据集市总部消息中间件ESBMDM系统（ECIF）MIS系统交易系统FDMFDMADMADMEDWLDMLDMCDMCDM信用卡信用卡零售银行零售银行近实时近实时数据库数据库数据交换平分析型数据应用BI&AA类应用ReportReportOLAPOLAPQueryQueryDashboardDashboardDataMiningDataMiningAlytAlyt. App.. App.近实时类应用风险监控风险监控KPIKPI监控监控…………HDSHDS（各原始交易历史数据库）（各原始交易历史数据库）数据标准化数据标准化近实时数据平台企业银行企业银行JOBJOB封装封装操作型数据服务分行数据下发服务外部监管供数服