数据库新技术

数据库新技术综述摘要：综述数据库新技术，指出数据库技术目前的研究状态和发展趋势，介绍一些数据库新技术的最新动态，并指出数据库应用所面临的挑战，指出数据库技术当今的研究热点和未来的发展趋势。关键词：数据库；面向对象数据库；分布式数据库；数据仓库；数据挖掘；联机分析处理；发展一、引言：自从计算机问世以来，就有了处理数据、管理数据的需求，由此，计算机技术新的研究分支——数据库技术应运而生。随着计算机应用领域的不断扩展和多媒体技术的发展，数据库已经是计算机科学技术中发展最快、应用最广泛的重要分支之一。目前，数据库技术已经相当成熟，被广泛应用于各行各业中，成为现代信息技术的主要组成部分，是现代计算机信息系统和计算机应用的基础和核心。另外，各种学科与数据库技术的有机结合，从而使数据库领域中新内容、新应用、新技术层出不穷，形成了各种各样的数据库系统：面向对象数据库系统、分布式数据库系统、知识数据库系统、模糊数据库系统、并行数据库系统、多媒体数据库系统等；数据库系统被应用到特定的领域后，又出现了工程数据库、演绎数据库、时态数据库、统计数据库、空间数据库、科学数据库、文献数据库等；他们继承了传统数据库的成果和技术，加以发展优化，从而形成的新的数据库，视为“进化”的数据库。可以说新一代数据库技术的研究与发展呈现了百花齐放的局面。首先我们来了解一下数据库新技术有哪些：面向对象数据库；分布式数据库；数据仓库；数据挖掘；联机分析处理等。二、概述新技术(一).面向对象数据库技术面向对象是一种认识方法学，也是一种新的程序设计方法学。把面向对象的方法和数据库技术结合起来可以使数据库系统的分析、设计最大程度地与人们对客观世界的认识相一致。面向对象数据库系统是为了满足新的数据库应用需要而产生的新一代数据库系统。其优点为：（1）.易维护：可读性高且方便低成本；（2）.质量高：在设计时，可重用现有的，在以前的项目的领域中已被测试过的类使系统满足业务需求并具有较高的质量；（3）.效率高：在软件开发时，根据设计的需要对现实世界的事物进行抽象，产生类。使用这样的方法解决问题，接近于日常生活和自然的思考方式，势必提高软件开发的效率和质量。（4）.易扩展：由于继承、封装、多态的特性，自然设计出高内聚、低耦合的系统结构，使得系统更灵活、更容易扩展，而且成本较低。面向对象数据库研究的另一个进展是在现有关系数据库中加入许多纯面向对象数据库的功能。在商业应用中对关系模型的面向对象扩展着重于性能优化，处理各种环境的对象的物理表示的优化和增加SQL模型以赋予面向对象特征。如Versant、UNISQL、O2等，它们均具有关系数据库的基本功能，采用类似于SQL的语言，用户很容易掌握。（二）.分布式数据库技术分布式数据库是指：数据物理上被存放在网络的多个节点上，逻辑上是一个整体。其拥有3种模式：存储模式、逻辑模式、用户模式。典型特点：1.三性自主性：单个DBMS的本地运算不因多数据库系统中其他DBMS的加入而受影响；单个DBMS处理查询和优化查询的方式不受访问多数据库的全局查询执行的影响；系统已执行的操作在单个DBMS加入或者离开多数据库联盟是不会受到伤害。异质性：硬件的异质性；网络协议的差异性；数据管理器的多样性。分布性：数据分布、控制分布、管理分布。2.特点1.在分布式数据库系统里不强调集中控制概念，它具有一个以全局数据库管理员为基础的分层控制结构，但是每个局部数据库管理员都具有高度的自主权。2.在分布式数据库系统中数据独立性概念也同样重要，然而增加了一个新的概念，就是分布式透明性。所谓分布式透明性就是在编写程序时好象数据没有被分布一样，因此把数据进行转移不会影响程序的正确性。但程序的执行速度会有所降低。3.集中式数据库系统不同，数据冗余在分布式系统中被看作是所需要的特性，其原因在于：首先，如果在需要的节点复制数据，则可以提高局部的应用性。其次，当某节点发生故障时，可以操作其它节点上的复制数据，因此这可以增加系统的有效性。当然，在分布式系统中对最佳冗余度的评价是很复杂的。3.迅速发展的原因（1）.它可以解决组织机构分散而数据需要相互联系的问题。比如银行系统，总行与各分行处于不同的城市或城市中的各个地区，在业务上它们需要处理各自的数据，也需要彼此之间的交换和处理，这就需要分布式的系统。（2）.如果一个组织机构需要增加新的相对自主的组织单位来扩充机构，则分布式数据库系统可以在对当前机构影响最小的情况下进行扩充。（3）.均衡负载的需要。数据的分解采用使局部应用达到最大，这使得各处理机之间的相互干扰降到最低。负载在各处理机之间分担，可以避免临界瓶颈。（4）.当现有机构中已存在几个数据库系统，而且实现全局应用的必要性增加时，就可以由这些数据库自下而上构成分布式数据库系统。（5）.相等规模的分布式数据库系统在出现故障的几率上不会比集中式数据库系统低，但由于其故障的影响仅限于局部数据应用，因此就整个系统来讲它的可靠性是比较高的。（三）.数据仓库数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。1.定义：数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。2.特点：（1）.效率足够高数据仓库的分析数据一般分为日、周、月、季、年等，可以看出，日为周期的数据要求的效率最高，要求24小时甚至12小时内，客户能看到昨天的数据分析。（2）.数据质量数据仓库所提供的各种信息，肯定要准确的数据，但由于数据仓库流程通常分为多个步骤，包括数据清洗，装载，查询，展现等等，复杂的架构会更多层次，那么由于数据源有脏数据或者代码不严谨，都可以导致数据失真，客户看到错误的信息就可能导致分析出错误的决策，造成损失，而不是效益。（3）.扩展性之所以有的大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，这样的话，未来不用太快花钱去重建数据仓库系统，就能很稳定运行。3.从数据库到数据仓库企业的数据处理大致分为两类：一类是操作型处理，也称为联机事务处理，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改。另一类是分析型处理，一般针对某些主题的历史数据进行分析，支持管理决策。数据库已经在信息技术领域有了广泛的应用，我们社会生活的各个部门，几乎都有各种各样的数据库保存着与我们的生活息息相关的各种数据。作为数据库的一个分支，数据仓库概念的提出，相对于数据库从时间上就近得多。美国著名信息工程专家WilliamInmON博士在90年代初提出了数据仓库概念的一个表述，认为：“一个数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，它用于对管理决策过程的支持。”（四）.数据挖掘数据挖掘（英语：Datamining），又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-DiscoveryinDatabases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。数据挖掘流程图：1.数据挖掘与数据仓库的关系若将DataWarehousing（数据仓库）比喻作矿坑，DataMining就是深入矿坑采矿的工作。毕竟DataMining不是一种无中生有的魔术，也不是点石成金的炼金术，若没有够丰富完整的数据，是很难期待DataMining能挖掘出什么有意义的信息的。2.数据挖掘的主要功能DataMining实际应用功能可分为三大类六分项来说明：Classification和Clustering属于分类区隔类；Regression和Time-series属于推算预测类；Association和Sequence则属于序列规则类。3.数据挖掘的过程数据开采以数据库中的数据为数据源，整个过程可分为数据集成、数据选择、预处理、数据开采、结果表达和解析等过程。开采的范围可针对多媒体数据库、数据仓库、Web数据库、主动型数据库、时间型及概率型数据库等。采用的技术有人工神经网络、决策树、遗传算法、规则归纳、分类、聚类、减维、模式识别、不确定性处理等。发现的知识有广义型知识、特征型知识、差异型知识、关联型知识、预测型知识、偏离型知识。目前数据采掘的研究和应用所面临的主要挑战是：对大型数据库的数据采掘方法；对非结构和无结构数据库中的数据采掘操作；用户参与的交互采掘；对采掘得到的知识的证实技术；知识的解释和表达机制；由于数据库的更新，原有知识的修正；采掘所得知识库的建立、使用和维护。（五）.联机分析处理联机分析处理（OLAP）系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。1.联机分析处理的作用联机分析处理是共享多维信息的、针对特定问题的联机数据访问和分析的快速软件技术。它通过对信息的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。决策数据是多维数据，多维数据就是决策的主要内容。OLAP专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。2.主要特点直接仿照用户的多角度思考模式，预先为用户组建多维的数据模型，在这里，维指的是用户的分析角度。例如对销售数据的分析，时间周期是一个维度，产品类别、分销渠道、地理分布、客户群类也分别是一个维度。一旦多维数据模型建立完成，用户可以快速地从各个分析角度获取数据，也能动态的在各个角度之间切换或者进行多角度综合分析，具有极大的分析灵活性。这也是联机分析处理被广泛关注的根本原因，它从设计理念和真正实现上都与旧有的管理信息系统有着本质的区别。3.体系结构数据仓库与OLAP的关系是互补的，现代OLAP系统一般以数据仓库作为基础，即从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到OLAP存储器中供前端分析工具读取。三、结束语：数据库系统的功能从早期的数据存储、查询到联机事务处理，再到数据挖掘，从单纯的数据库发展到与之相关的模型库、知识库的集成，其所取得成就是令人瞩目的。当然，所有这些都还有许多局限性，还有许多关键问题等待解决，而且，随着应用领域日益广泛，硬件技术的不断提高，数据库技术还要面临新的挑战。当前数据库技术的发展呈现出与多种学科知识相结合的趋势,凡是有数据(广义的)产生的领域就可能需要数据库技术的支持,它们相结合后即刻就会出现一种新的数据库成员而壮大数据库家族。对于广大的数据库用户来讲，主要有两个方面的要求：一个是希望得到自己所需要的数据或者信息；另一个是能够方便地接受和使用这些数据或信息。前一类要求应通过工程的软、硬件环境支持和数据库设计来实现；后一类要求则应为用户提供良好的用户界面和完善的应用支持来达到。新一代的数据库技术应能完成新应用的要求。这些新的课题有待于数据库研究者及所有计算机工作者的努力。