搜索
1数据库远程复制和异地容灾方案相关分析发布时间：2004-07-3108:00:00来源：作者：点击：302目前，针对oracle数据库的远程复制、容灾主要有以下几种技术或解决方案：（1）基于存储层的容灾复制方案这种技术的复制机制是通过基于SAN的存储局域网进行复制，复制针对每个IO进行，复制的数据量比较大;系统可以实现数据的同步或异步两种方式的复制.对大数据量的系统来说有很大的优势（每天日志量在60G以上）,但是对主机、操作系统、数据库版本等要求一致，且对络环境的要求比较高。目标系统不需要有主机，只要有存储设备就可以，如果需要目标系统可读，需要额外的配置和设备，比较麻烦。（2）基于逻辑卷的容灾复制方案这种技术的机制是通过基于TCP/IP的网络环境进行复制，由操作系统进程捕捉逻辑卷的变化进行复制。其特点与基于存储设备的复制方案比较类似，也可以选择同步或异步两种方式，对主机的软、硬件环境的一致性要求也比较高，对大数据量的应用比较有优势。其目标系统如果要实现可读，需要创建第三方镜像。个人认为这种技术和上面提到的基于存储的复制技术比较适合于超大数据量的系统，或者是应用系统的容灾复制。（3）基于oracleredolog的逻辑复制方式使用这种方式的主要有一些第三方的软件，以及oracle自己的DATAGUARD中的logicalStandby。bitscn.com目前，国外已经有了很多比较成熟的产品及成功案例，国内也有类似的产品，但在产品的成熟程度和成功案例上跟国外还有一定的差距。这类产品的原理基本相同，其工作过程可以分为以下几个流程：使用oracle以外的独立进程，捕捉redologfile的信息，将其翻译成sql语句，再通过网络传输到目标端数据库，在目标端数据库执行同样的sql。如果其进程赶不上oracle日志切换，也可以捕捉归档日志中的内容。也有的产品在源端以事务为单位，当一个事务完成后，再把它传输到目标端。所有的产品一般都是以表为单位进行复制，同时也支持大部分DDL的复制（主要在oracleArrayi环境中）。这种技术的技术特点和优势主要有以下几点：目标端数据库一直是一个可以访问的数据库；能保证两端数据库的事务一致性；因为使用oracle以外的进程进行捕捉，且其优先级低于oracle进程，所以对源系统数据库的性能影响很小；基于其实现原理及多个队列文件的使用，复制环境可以提供网络失败、数据库失败、主机失败的容错能力；因为这类软件复制的只是sql语句或事务，所以他可以完全支持异构环境的复制，硬件的型号，oracle的版本，操作系统的种类、版本等都没有要求。这种方式还可以支持多种复制方式，比如数据集中、分发、对等复制、或者多层测的复制等。由于传输的内容只是redolog或archivelog中的一部分，所以对网络资源的占用很小，可以实现不同城市之间的远程复制。基于redolog的逻辑复制产品有很多的优势，但跟上面提到过的其他方案比较起来，也有一些缺点：数据库的吞吐量太大时，其实据会有较大的延迟，当数据库每天的日量达到60G或更大时，这种方案的可行性交差；实施的过程可能会有一些停机时间，来进行数据的同步和配置的激活；复制环境建立起来以后，对数据库结构上的一些修改需要按照规定的操作流程进行，有一定的维护成本。不过目前这类产品的发展很快，上面的这些问题，在大部分产品的最新版本中都有很大的改进。2数据备份与数据容灾-数据库专栏,SQLServer数据容灾有四个级别,分别是0,1,2,3级.其中,0,1两级是冷备份,2,3两级是热备份.一般来说,我们把0级的容灾称为备份,而1,2,3级称为容灾工程.1)0级容灾的特点是本地备份/本地保存的冷备份.备份的磁带机放在同一机房,很难避免火灾/水灾对数据造成的影响.2)1级容灾的特点是本地备份/异地保存的冷备份,比如把磁带机放到银行存放,这不能避免地震造成的影响.3)2级容灾的特点是站点热备,它利用光纤和san等通道技术,来达到备机同步主机数据的目的.4)3级容灾的特点是双机热备,两台机器互为主备机.热备份时要求记录日志文件,在数据部分恢复后,要将日志中的数据也进行恢复.文章整理：西部数码3熊猫电子：重复数据删除成就异地容灾发表时间：2009-1-12来源：e-works关键字：熊猫电子存储灾难备份重复删除信息化应用调查在线投稿加入收藏发表评论好文推荐打印文本本文为“2008中国制造业信息化应用领先及最佳实践奖”参评案例。本次活动评选出2008年度，中国制造业信息化领域带来突出效益的最佳实践工程，全面介绍企业信息化过程的步骤、重点与难点、获得效益等，分享信息化建设过程中的经验，有效地推动中国制造业信息化的深化应用，供广大制造业行业企业学习供鉴。一、参评企业基本情况1、企业基本情况2、企业简介熊猫电子集团有限公司始创于1936年，被誉为中国电子工业的摇篮，是一个具有72年历史的国有综合性大型电子企业，连续二十年位列中国电子信息百强企业前列，“熊猫-PANDA”是我国电子行业第一个“中国驰名商标”，至今已有50多年的历史。熊猫电子为中国电子工业的创立和发展，为中国国防和国家现代化建设作出了卓越贡献。1996年，熊猫集团控股的南京熊猫电子股份有限公司分别在香港联交所和上海证交所上市，成为国内电子行业第一家拥有H股的上市公司。自二十世纪五十年代以来，包括毛泽东、邓小平、江泽民、胡锦涛在内的三十多位党和国家领导人先后亲临公司视察，给公司发展以巨大的鼓舞。2004年4月30日胡锦涛总书记视察了熊猫集团，深切勉励企业干部职工要把“熊猫”做成世界品牌，让“熊猫”品牌越来越辉煌。熊猫电子拥有较强的电子整机、装备的技术研发和制造能力，建有4个国家级工程技术研究中心，1个博士后工作站，10个新产品开发研究所。公司主导产业包括：现代通信、数字视音频、软件信息服务、智能电子、电子制造并挺进现代服务业。公司参股的中外合资企业主要有：南京爱立信熊猫通信有限公司、北京索爱普天移动通信有限公司、南京泰雷兹熊猫交通系统有限公司、南京LG熊猫电器有限公司、瀚宇彩欣（南京）科技有限公司等。4十五期间，熊猫集团累计营业收入1200亿元，利润总额33.7亿元，利税67.5亿元。销售收入平均每年增长21.7%，2007年营业收入突破346亿元，用户已达9千多万。2007年熊猫集团位列“中国软件百强”第六名。面对全球化竞争和科技迅猛发展的挑战，熊猫集团将在全面、协调、可持续的科学发展观指引下，认真探索国企改革和超越自身的道路，着力自主创新，完善体制与机制变革，以科技进步培育产品竞争优势；以质量服务提升品牌市场价值，并以资源的优化配置实现企业综合实力的不断增强。努力实现“把公司建设成为国内一流、国际知名的大型电子信息产业集团”的战略目标。二、信息化应用总体状况与愿景1、信息化应用情况南京熊猫电子集团对各个子公司实行集团化管理，在集团总部部属了财务、Web网站、人力资源、OA、CRM等多套集团信息化系统，对子公司的业务运营进行集中支持和管控。信息系统对集团的正常运转非常关键。2、信息化规划根据南京熊猫电子集团的特点和发展趋势结合企业的实际状况，搭建统一的信息化平台，实现涵盖整个公司集团财务、供应链、等业务流程的管理，并在此基础上衍生商业智能、决策支持功能，最终实现集团管理信息化。下图是未来公司的信息系统架构：针对上述建设目标，规划出公司的信息化系统整体步骤如下：第一阶段，实现以财务业务一体化代表的基础流程第二阶段，实现以生产制造和资金预算管理为代表的全面流程第三阶段，实现以商业智能为代表的扩展流程三、最佳信息化实践情况介绍1、背景介绍南京熊猫电子集团对各个子公司实行集团化管理，在集团总部部属了财务、Web网站、人力资源、OA、CRM等多套集团信息化系统，对子公司的业务运营进行集中支持和管控。信息系统对集团的正常运转非常关键。集团的数据量越来越大，对信息系统的依赖性越来越高。信息中心作为信息系统的责任部门，最担心的就是数据丢失。系统故障总是可以恢复的，只不过是时间问题，换一台设备、重建系统也相对容易。数据丢失的风险则要大得多，信息中心的责任重大。52、目标与方针为了确保业务连续性和数据安全性，2007年底，熊猫集团开始建设新一代的数据备份系统，目标是提高数据保护的级别，实现更高标准的RTO（恢复时间目标）和RPO（恢复点目标）。熊猫电子集团此前的保护措施是备份至本地磁带库，备份策略为周五晚全备份加平时每天的增量备份。不过我们还是有两点担心：一是之前的磁带备份除了恢复时间长以外，还有一大缺点就是可靠性不够高。南京地区梅雨季节比较长，磁带受潮容易发霉。本以为数据都已经备份到磁带上，结果磁带读不出数据，那就麻烦了。二是如前面所说，整个集团的数据都在这个信息中心。如果遇到火灾、台风这类影响到整个机房的灾害，后果会很严重。所以信息中心决定做一个异地备份，多一道保障。显然，每天将备份磁带转运到异地保存是不可行的。即使不考虑每天转运的人力物力花费，也会因为费事而难以坚持。而且，即使坚持转运了也不是很可靠。3、详细介绍熊猫电子考虑在相距5公里的地方建一个数据容灾备份系统，两地间连接的是商用IP网络，其带宽为2Mb/s。由于带宽小，可以通过的数据量非常有限，因此需要一套先进的方案，有效降低对带宽的要求，同时又能可靠地进行备份。经过多方考察，我们发现，重复数据删除技术是一个比较理想的方案。备份数据的重复率是非常高的。例如，办公自动化系统中，文件流转、版本修订比较普遍，一个文件可能抄送给多个人，一个文件可能有多个版本，这其中有大量的重复数据。尤其是文件比较大的时候，备份时重复的存储空间占用相当可观。重复数据删除技术就能解决这个问题。所有重复的数据，系统在备份时只保留一份，在重复出现的地方，只保存一个数据地址。恢复数据时，数据能够自动还原。这正是熊猫电子需要的技术。EMCAvamar是业界最优秀的重复数据删除技术之一，它是一种源端的全局重复数据删除技术。其特点是，在数据源开始处感知应用，能够针对具体应用数据（例如，Oracle数据库、SQLServer数据库、Word文档、PPT文档、电话录音、流媒体等等）的特点，实现最大限度的重复数据删除，删除率高达300:1甚至更高。例如，公司一个介绍性的PPT文档，今天张总接待使用，会保存一个署名张总和相应日期的版本；明天陈总出访演示，会保存一个署名陈总和相应日期的版本。两个文件只有一页不同，其它内容都一样。EMCAvamar能做到，第二次备份时，只保存改过的那一页。熊猫电子在中心机房搭建一台备份服务器，部署EMCAvamar技术。备份数据经过EMCAvamar去除重复以后，再通过IP网络传输到容灾备份中心，备份到这里的AvamarDataStore存储阵列上。在熊猫电子的应用环境上，Avamar的重复删除率达到100:1。由于传输的数据量非常小，大大节省了带宽，缩短了备份时间，也节约了备份空间。原来每天要备份好几小时，现在每天只要几十分钟就完成了。综合比较下来，采用EMCAvamar新一代备份方案，比传统的备份方式代价低得多，RTO和RPO却提高了很多。Avamar数据保护方案简化了数据恢复操作。与传统解决方案不同，Avamar备份每天都是生成的完全备份，而不是传统备份方式的“全备份+增量备份”，Avamar只需操作一次就可以恢复所需要的时间点数据。Avamar对文件的恢复很简单，既可以使用传统的恢复操作，也可以通过Web页面的下载方式进行。由于数据是备份到存储阵列的，存储阵列上有RAID冗余磁盘技术，可以随时、自动对数据进行校验，可靠性提高。从数据恢复速度看，磁盘备份比磁带备份的速度高一个数量级，数据可用性的提高不言而喻。为了充分利用已有投资，多提供一重数据保护，除了用Avamar进行异地备份外，熊猫电子将之前的本地磁带库备份继续保留。EMCAvamar的扩展性不错。将来熊猫电子的其它分支机构或厂区如果需要备份数据