Goldengate从入门到精通

Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Goldengate从入门到精通第1课Goldengate概述Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区AgendaGoldengate是什么？Goldengate适用的场景Goldengate基本原理Goldengate复制拓扑和异构Goldengate产品线介绍Goldengate产品的下载快速的搭建一个Goldengate复制环境（非RAC环境）（linix和windows环境两套环境演示）Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Goldengate是什么Oracle的数据集成方案（Goldengate属于OracleFusionMiddleware产品线，09年收购，Oraclestream的替代者）Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Goldengate是什么OracleGoldenGate提供异构环境间事务数据的实时、低影响的捕获、路由、转换和交付不建触发器，不建中间表，无需增量标记或时间戳字段不在源表上进行数据查询OracleGoldenGate非侵入单条数据同步链路可以持续维持160GB/小时的数据库日志处理能力，同步延迟在10秒之内保障事务完整性和顺序失败后自动从断点恢复，数据不重复、不遗漏低影响高实时异构的源和目标可靠性和事务完整广泛支持异构硬件平台和操作系统下的多种不同数据库类型及版本，包括文件和消息队列直接部署和运行在源端数据服务器时，CPU使用率3%，内存和网络带宽要求极低Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Goldengate数据集成应用场景基于日志，实时变化数据抓取异构的源系统EDWODSEDW灵活的高可用性零停机移植和升级/容灾/应急实时BI/实时DW全面活动的分布数据库报表数据库ETLODI查询卸载/分流数据分布新DB/OS/HW/App多数据中心SOA/EDAOracleGoldenGate附加值高灵活性高好东西！•标准化的单一的技术解决多种不同的需求•国内：主要场景用于系统的连续可用性和报表/BI系统的实时数据访问的要求但是：经常abend！经常初始化！好累！！！好烂的产品！维护成本高！规范很重要！基于对OGG的深入理解！Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Goldengate基本原理基于日志捕获技术的实时增量数据集成双向捕获捕获：通过读取事务日志，在事务发生时捕获（也可过滤）提交的事务。任何非实际事务均不被复制到目标，保证不传播错误。队列队列：准备数据，使数据排入队列以备路由。传输传输：分发数据以便路由到目标，可实现一次捕获多次投递。交付交付：保证事务数据完整，根据需要转换数据。源数据库目标数据库队列路由：压缩、加密数据以便路由到目标，最小化的带宽占用。LAN/WANInternetTCP/IPGoldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Goldengate基本原理–可靠性确保事务完整性各种故障的解决方法：每个进程的读、写检查点GoldeGate的故障进程故障-进程自动重启Trail文件故障-CheckpointGoldenGate以外的故障服务器/DB/网络的故障-CheckpointGoldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Goldengate基本原理–灵活性数据的加工、拓扑的灵活、异构的支持、安装配置的灵活可以配置Filter/Map以及转换规则的组件CaptureDataPumpReplicat每个组件的安装时是灵活的，不同于其他产品；每个组件的配置也是灵活的，只要trail文件、checkpoint信息在，想怎么玩就怎么玩！Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Goldengate复制拓扑OLTPOLTPOLTPODSODSEDW查询/报表OLTPOLTP操作型OLTPStageOLTP单向查询分流双向主用/备用或主动-主动，实现高可用性集成/整合实时数据仓库广播数据分发级联式分布式业务合并实时BIOLTPOLTPOLTPOLTPOLTP对等负载平衡/多主分布式分析型Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Goldengate异构平台的支持OracleIBMDB2LUWIBMDB2z系列IBMDB2i系列/AS400MicrosoftSQLServerSybaseASETeradataC-TreeEnscribeSQL/MPSQL/MXMySQLJMS消息队列GoldenGate12c新增支持•Oracle12c•MySQL5.6•MySQLCluster7.1和7.2•Sybase15.7•DB2LUW10.1•Teradata14.10•SQLServer2012NetezzaTimesTenPostgreSQLGreenPlumHPNeoview平面文件ETL产品Coherencehotcache捕获和交付交付Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Goldengate产品线OracleGoldengate（凡是安装的都需要license，RAC每个节点都需要license）ManagementPackforGoldengateDirectorMonitorEM12cplug-inGoldengateVeridata（不能脱离OGG环境）GoldengateApplicationAdapterGoldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区OGGManagementPack远程集中管理和监控•定义，配置，管理和报告GoldenGate在业务系统中配置情况•使用GodenGate管理服务体系架构•关键特性:集中化管理所有的GG进程丰富的基于web的客户端界面增强了可视性告警通知，Email方式或者第三方的监控产品集成实时反馈GG的进程运行情况无影响的部署不会影响系统性能Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区GoldenGateVeridata™数据一致性比较•高速的数据比对解决方案•在正在使用的数据库直接审计，识别和报告数据的差异性•优点:•能快速地减少风险和对数据差异采取行动•加快和简化数据比较•不中断业务系统•加强决策和报告的可信度•关键特性:•支持大数据量比对•当数据库在线的时候运行比对•选择性数据比对•灵活的报表机制•支持异构数据库•生成直观比较报告Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Goldengate产品的下载edelivery.oracle.comsupport.oracle.com-11g的patch即安装包（12c不是）Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区快速的搭建一个Goldengate复制环境OGG11g-linuxOGG12c-windows首先检查认证列表！（同时注意APPS应用的适用场景）建议相同版本OGG之间复制，实在不行，从逻辑上分析：建议源端低版本，目标端可以高版本。Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区安装步骤描述–准备操作系统用户和文件系统准备安装和运行用户（操作系统用户）–建议使用Oracle用户–也可使用新建用户，但需做以下配置•该用户必须加入到oinstall组•该用户使用与oracle相同的profile文件•操作系统必须为该用户开放一定的CPU、内存等资源限制，可以通过ulimit–a查看，建议在/etc/security/limits.conf中设置和oracle用户一致准备安装位置和空间–OGG可以安装于任意位置•RAC下建议安装在存储阵列，可以在单点失败后切换到其它节点继续运行–分配空间•软件本身所需空间约为200M以下(OGG12c需要约500M空间，建议1GB)•为缓存数据建议保留相当于1-3天归档日志的存储空间（trial文件）–将安装目录的owner修改为OGG运行用户Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区安装步骤描述–源库的准备数据库必须打开归档模式–OGG重启时需要读取未提交交易开始时的日志验证未使用并行日志（只针对9i）–SqlshowparameterLOG_PARALLELISM。如结果为1，无需修改；否则需要修改为1。如果是OGG12c，需要设置(不管源和目标，只要运行12c的就要设置)：altersystemsetenable_goldengate_replication=true;打开数据库最小附加日志SQLselectsupplemental_log_data_minfromv$database;结果为NO，表示没有打开附加日志。使用以下命令将数据库附加日志打开：SQLalterdatabaseaddsupplementallogdata;切换日志以使附加日志生效：SQLALTERSYSTEMARCHIVELOGCURRENT;Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区安装步骤描述–源库的准备建立OGG数据库用户–OGG需要从数据字典读取表结构–如Oracle日志中没有足够信息，则需通过flashback或者直接读取数据库记录（例如，CLOB/BLOG/BINARY等）OGG数据库用户权限–CREATEUSERgoldengateIDENTIFIEDBYgoldengateDEFAULTTABLESPACEUSERS;–GRANTCONNECTTOgoldengate;–GRANTCREATESESSIONTOgoldengate;–GRANTALTERSESSIONTOgoldengate;–GRANTRESOURCETOgoldengate;–GRANTSELECTANYDICTIONARYTOgoldengate;–GRANTSELECTANYTABLETOgoldengate;–GRANTFLASHBACKANYTABLETOgoldengate;–GRANTALTERANYTABLETOgoldengate;Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区安装步骤描述–目标库的准备建立OGG数据库用户–通过sql将数据写入数据库OGG目标数据库用户权限–CREATEUSERgoldengateIDENTIFIEDBYgoldengateDEFAULTTABLESPACEUSERS;–GRANTALTERSESSIONTOgoldengate;–GRANTCREATESESSIONTOgoldengate;–GRANTCONNECTTOgoldengate;–GRANTRESOURCETOgoldengate;–GRANTSELECTANYDICTIONARYTOgoldengate;–GRANTSELECTANYTABLETOgoldengate;–GRANTFLASHBACKANYTABLETOgoldengate;–GRANTINSERTANYTABLETOgoldengate;–GRANTUPDATEANYTABLETOgoldengate;–GRANTDELETEANYTABLETOgoldengate;Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析