全面业务数据整合之道__消除企业信息孤岛郑轶佳

1郑轶佳，[e-mail]咨询顾问，区域客户部，中间件业务全面业务数据整合之道——消除企业信息孤岛宋天洋，[e-mail]，13358888383客户经理，区域客户部，中间件业务2议程•多数企业应用现状与数据需求•数据整合所关注的主要问题及Oracle相应解决方案•数据库层数据的整合•应用系统层数据的整合和数据服务的构建•数据整合解决方案演示•Oracle数据整合解决方案的优势•致谢3企业级技术架构愿景回顾生产系统人事系统客户关系管理财务系统业务人员第三方机构InternetWirelessIntranet客户决策支持系统事务监控器企业级应用服务器分布式缓存平台网格架构应用支撑平台数据集成平台业务集成平台4我们进行了很多企业信息化建设建设的目标与我们的期望是否一致？5一个组织如何得到他们想要的信息？•数据分散于多个数据库与应用系统中•没有聚合与实时数据视图•数据消费者与数据提供者点对点连接•直接依赖数据源提供的数据模型•增加应用的复杂性–大量的花费、时间用于开发与维护门户Web应用BI应用ESB,EAI,BPM数据库人事系统教务系统Web服务大机系统后勤系统6Q:为什么我看不到我需要出报表的相关数据?可获得的信息确定信息是可被访问到、安全、可靠的。信息可以跨多个混合数据源和目标。Q:为什么我有这么多不同的数据版本?大部分都是不准确的!可信的信息确定信息的一致性、质量和访问授权。Q:为什么我的应用显示的是上周的数据?及时的信息批量集成数据，实时数据仓库、数据集市、业务流程、主数据hub、分析决策。信息架构挑战集成并管理信息的全面挑战7数据挑战:为什么如此艰难?数据无处不在•众多的数据源•数据被“锁定”在应用竖井中•碎片化与不一致的数据•存储于不同的数据源•没有聚合、实时的信息视图•大量花费在构建、维护与疑难问题处理•难于实施数据安全数据访问复杂应用难于开发8议程•多数企业应用现状与数据需求•数据整合所关注的主要问题及Oracle相应解决方案•数据库层数据的整合•应用系统层数据的整合和数据服务的构建•数据整合解决方案演示•Oracle数据整合解决方案的优势•致谢9数据整合解决的主要问题•从现有系统大规模获取数据并且使原有系统所受影响最小数据获取•及时从应用开发商不同、技术手段不同的系统中获取数据数据时效•各系统间建立统一的数据模型，保证数据质量和数据准确性数据质量Sybase数据库BS应用CS应用BS应用MSSQL数据库Oracle数据库DataDataDataDataDataDataDataDataData开发商A开发商B开发商C10我们需要什么？•数据整合层：•隔绝对底层业务数据源的影响•透明集成多种数据源•提供统一的、业务友好的数据视图•松耦合不同的数据消费者•松耦合数据消费者与数据实现-使灵活最大化门户Web应用BI应用ESB,EAI,BPM数据库人事系统教务系统Web服务大机系统后勤系统数据服务数据服务数据集成数据整合层11议程•多数企业应用现状与数据需求•数据整合所关注的主要问题及Oracle相应解决方案•数据库层数据的整合•应用系统层数据的整合和数据服务的构建•数据整合解决方案演示•Oracle数据整合解决方案的优势•致谢12数据库层数据整合的多种拓扑结构单向备份、查询双向灾备、双业务中心点对点多业务中心广播数据分发集中数据仓库/N+1灾备多级层次化企业数据13OracleGoldenGate实时数据同步工具GoldenGate提供异构环境下基于数据库日志文件的交易数据的实时捕捉、变换、投递。特性:实时性秒一级延迟异构环境支持在不同平台和数据库环境下复制数据以交易为单位复制维护交易一致性收益:高性能能够以低资源消耗完成每秒数千交易的复制可扩展开放的结构使客户适应各种异构数据平台可靠保证数据的连续可用14OracleGoldenGate:基于日志的数据复制•提供传输过程中的交易一致性和断点续传•亚秒级复制•不依赖源数据库的触发器和规则•对源数据库影响小•支持局域网/广域网传输•支持网络压缩传输，支持128位加密传输数据库日志网络CaptureSourceTrailTargetTrailDeliveryDataPumpJMSMessageBus15OracleGoldenGate:异构环境支持•Capture(捕获)源数据库:•Oracle•IBMDB2•MSSQLServer•SybaseASE•Teradata•Enscribe•SQL/MP•SQL/MX•Delivery(投递)目标数据库:•Oracle•IBMDB2•MSSQLServer•SybaseASE•Teradata•Enscribe•SQL/MP•SQL/MX•Ingres•MySQL•HPNeoview•所有ODBC兼容数据库平台:SunSolaris,IBMAIX,HP-UX,Linux,Windows2000,2003,XPHPNonStop,HPTRU64,HPOpenVMS,IBMz/OS•降低成本•充分利用既有系统•系统可高低搭配16GoldenGate解决方案高可用性与容灾•容灾与应急备份•消除计划内停机•双业务中心实时数据集成•数据仓库实时供给•实时报表17高可用性:容灾与应急备份实现:快速恢复和切换最小化数据损失重新同步主备两端数据用途:在非计划性停机时保持业务连续18高可用性:减少计划内停机实现:保障业务零或者近似零停机滚动升级降低业务中断带来的损失用途:保障系统/应用/数据库在升级、移植和维护期间业务的可用性19高可用性:双业务中心（Active-Active)实现:•负载均衡，提高系统整体性能•连续可用，快速的容灾接管•冲突检测和处理20数据仓库实时供给实现:数据仓库数据实时得到更新对源系统低影响用途:提升商务智能和信息分析能力实时可用的数据仓库21实时报表实现:将实时报表从主系统剥离，可根据客户需求定制显著提高主系统性能用途:实时报表提高系统性能和可用性22议程•多数企业应用现状与数据需求•数据整合所关注的主要问题及Oracle相应解决方案•数据库层数据的整合•应用系统层数据的整合和数据服务的构建•数据整合解决方案演示•Oracle数据整合解决方案的优势•致谢23Oracle数据集成器（DataIntegrator）优化的E-LT带来性能、生产率的提高和拥有总成本的降低基于声明的设计更新内容的变化数据捕获E-LTvs.E-T-L可插拔架构数据仓库数据集市OLTPDB应用系统遗留系统知识模块24使用ODI执行高效数据抽取加载和转换异构的源和目标批量数据加载批量数据转换数据完整性和一致性端到端的数据血缘分析DataWarehouseCubeCubeCube----------------OperationalAnalyticsMetadata加载转换捕捉变化增量更新数据完整性检查聚合输出25ODI进行SOA交互为数据集成建立消息架构，在ODI中合并了数据批处理功能调用外部服务做数据集成部署数据访问服务部署数据转换服务集成数据访问和转换服务到你的SOA架构中ServicesDataAccessTransformationOthers----------------OperationalMetadataGenerateDataServicesExposeTransformationServicesDeployandreuseServicesBusinessProcesses26数据整合的定位提高数据的灵活性SOA•数据服务•信息服务•流程集成•事件驱动的数据集成•治理和影响分析BusinessIntelligence•商务智能分析应用•事件驱动的BI•异构数据访问•基于信息的分析•数据血缘分析DataWarehousing•ETL•数据迁移，批量数据传输•数据质量控制DataIntegration27Oracle数据集成解决方案数据抽取转换数据服务数据共享数据传输数据同步------------数据转换Oracle的综合应用数据整合平台数据交换数据集中数据仓库数据整合统一的数据需求…方法…分散在异构数据源中的数据异地数据------------------异构结构数据---本地数据------------------------------------自行开发、定制的应用系统现状…OracleDataIntegratorSuiteOracleGoldenGate28议程•多数企业应用现状与数据需求•数据整合所关注的主要问题及Oracle相应解决方案•数据库层数据的整合•应用系统层数据的整合和数据服务的构建•数据整合解决方案演示•Oracle数据整合解决方案的优势•致谢29Oracle数据整合解决方案演示30议程•多数企业应用现状与数据需求•数据整合所关注的主要问题及Oracle相应解决方案•数据库层数据的整合•应用系统层数据的整合和数据服务的构建•数据整合解决方案演示•Oracle数据整合解决方案的优势•致谢31领先的Oracle数据集成产品和解决方案32广泛的用户认可度33Oracle数据整合解决方案特点总结•效率•快速实时•安全保障•性能•高性能架构•高可靠性•价格•开发简便•TCO低34谢谢！宋天洋，[e-mail]，13358888383Oracle客户经理，区域客户部，中间件业务