数据仓库概述

数据仓库数据仓库概述随着计算机技术的飞速发展和企业界不断提出新的需求，数据仓库技术应运而生。传统的数据库技术是单一的数据资源，即数据库为中心，进行从事事务处理、批处理到决策分析等各种类型的数据处理工作。近年来，随着计算机应用，,网络计算，开始向两个不同的方向拓展，一是广度计算，一是深度计算，广度计算的含义是把计算机的应用范围尽量扩大，同时实现广泛的数据交流，互联网就是广度计算的特征，另一方面就是人们对以往计算机的简单数据操作，提出了更高的要求，希望计算机能够更多的参与数据分析与决策的制定等领域。特别是数据库处理可以大致地划分为两大类：操作型处理和分析型处理（或信息型处理）。这种分离，划清了数据处理的分析型环境与操作型环境之间的界限，从而由原来的以单一数据库为中心的数据环境发展为一种新环境：体系化环境。数据库系统作为数据管理手段，从它的诞生开始，就主要用于事务处理。经过数十年的发展，在这些数据库中已经保存了大量的日常业务数据。传统的业务系统一般是直接建立在这种事务处理环境上的。随着技术的进步，人们试图让计算机担任更多的工作，而数据库技术也一直力图使自己能胜任从事务处理、批处理到分析处理的各种类型的信息处理任务。后来人们逐渐认识到，在目前的计算机处理能力上，根本无法实现这种功能，而且，另一方面，事物处理和分析处理具有极不相同的性质，直接使用事务处理环境来支持决策是行不通的。事务处理环境不适宜DSS应用的原因主要有以下五条：（1）事务处理和分析处理的性能特性不同。在事务处理环境中，用户的行为特点是数据的存取操作频率高而每次操作处理的时间短；在分析处理环境中，用户的行为模式与此完全不同，某个DSS应用程序可能需要连续几个小时，从而消耗大量的系统资源。将具有如此不同处理性能的两种应用放在同一个环境中运行显然是不适当的。（2）数据集成问题。DSS需要集成的数据。全面而正确的数据是有效的分析和决策的首要前提，相关数据收集得月完整，得到的结果就越可靠。当前绝大多数企业内数据的真正状况是分散而非集成的。造成这种分散的原因有多种，主要有事务处理应用分散、“蜘蛛网”问题、数据不一致问题、外部数据和非结构化数据。（3）数据动态集成问题。静态集成的最大缺点在于，如果在数据集成后数据源中数据发生了变化，这些变化将不能反映给决策者，导致决策者使用的是过时的数据。集成数据必须以一定的周期（例如24小时）进行刷新，我们称其为动态集成。显然，事务处理系统不具备动态集成的能力。（4）历史数据问题。事务处理一般只需要当前数据，在数据库中一般也是存储短期数据，切不同数据的保存期限也不一样，即使有一些历史数据保存下来了，也被束之高阁，未得到充分利用。但对于决策分析而言，历史数据是相当重要的，许多分析方法必须一大量的历史数据为依托。没有历史数据的详细分析，是难以把握企业的发展趋势的。DSS对数据在空间和时间的广度上都有了更高的要求，而事务处理环境难以满足这些要求。（5）数据的综合问题。在事务处理系统中积累了大量的细节数据，一般而言，DSS并不对这些细节数据进行分析。在分析前，往往需要对细节数据进行不同程度的综合。而事务处理系统不具备这种综合能力，根据规范化理论，这种综合还往往因为是一种数据冗余而加以限制。要提高分析和决策的效率和有效性，分析型处理及其数据必须与操作型处理及其数据相分离。必须把分析型数据从事务处理环境中提取出来，按照DSS处理的需要进行重新组织，建立单独的分析处理环境，数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。数据仓库应用概述当今世界充满了剧烈竞争，正确及时的决策是企业生存和发展的最重要环节。现在，愈来愈多的企业认识到，企业要想在竞争中取胜，获得更大的收益，至关重要的是，必须利用计算机和网络技术、数据仓库技术，深层次地挖掘、分析当前和历史的生产业务数据，以及相关环境的相关数据，自动快速获取其中有用的决策信息，为企业提供快速、准确和方便的决策支持。通过对企业生产和计划的完成情况及相关环境数据进行多角度多层次的分析，以使企业的决策者及时掌握企业的运行情况和发展趋势，并对制定生产计划和长远规划提供理论指导，提高企业的管理水平和竞争优势。以下就对数据仓库的应用、技术、市场、前景等几方面进行简述。第一篇数据仓库技术在各行业的应用与实例一．在证券业的应用关键字：数据仓库、证券数据仓库技术在证券业的应用十分广泛，它可处理客户分析、帐户分析、证券交易数据分析、非资金交易分析等多个业界关心的主题，这是证券业扩大经营、防范风险的预警行动。证券公司利用客户行为分析系统数据仓库技术将所有客户的操作记录进行归类和整理，并结合行情走势、上市公司资料、宏观微观经济数据等，在掌握大量数据的情况下，对客户的行为和市场各因素的关联、客户的操作习惯、客户的持仓情况、客户的盈亏情况、公司的利润分布等进行统计和分析。从而获得以往一直想获得但却无法获取的关于客户在本公司的行为、盈亏、习惯等关键信息。证券商在获得这些信息后，就有能力为客户提供针对其个人习惯、投资组合的投资建议，从而真正作到对客户的贴心服务。（）[实例]：深圳国信证券建立数据仓库1999年4月，深圳国信证券的数据仓库系统(由Sybase公司提供解决方案)一期工程完成，该项首期投资近200万元数据仓库系统建设的出发点是为当前公司的决策者提供快速有效的各种报表和分析方式，提高公司的市场反应速度和竞争力水平。更有效地发挥OLTP系统的效益，在此基础上“多快好省”地建设DataWarehouse/DSS。同时，考虑到公司业务系统的不断完善和决策支持的更高要求，对不断增长的企业数据具有无限的可扩展性并提供可控的快速查询响应时间。该系统包括了客户分析、账户分析、证券汇总分析、资金交易分析、非资金交易分析等多个业界关心的主题。公司用户可以通过固定灵活报表、多维分析等多种形式实现多个层面的数据访问，数据访问的手段包括访问授权的内部Web站点、通过自动E－Mail邮件转发、直接Client/Server连接等多种方式。该系统的完成是国内开放平台数据仓库系统建设的一个成功案例。（）二．在银行领域的应用：关键字：数据仓库、银行随着社会主义市场经济改革的深化，传统的计划金融模式逐渐瓦解，市场金融模式逐渐形成。在这个变革过程中，由于体制、市场、企业、个体等经济要素变化、发展的不平衡性，带来了银行对各种金融变量控制的随机性和模糊性，如何防范银行的经营风险、实现科学管理以及进行决策，成为当今金融研究的一个重要课题。90年代出现的数据仓库、OLAP（联机分析）、数据采掘、多媒体、高带宽网络技术，使银行的科学管理有了一个新的技术支持。利用数据仓库的强大功能，银行可以建立企业客户群、个人客户群的数据库，并对企业的结构、经营、财务、市场竞争等多个数据源进行统一的组织，形成一个一体化的存储结构，为决策分析奠定基础。通过先进的信息加工、分析、处理软件，加上银行的经营决策、信贷营销人员的个人经验，对每一个投资方向、每一笔贷款作出科学的判断，可以有效控制投资、信贷风险。（）银行决策支持系统是建立在银行管理信息系统基础之上的、以银行数据库和数据仓库为基础，包括各种辅助制定货币政策、开拓金融业务等的模型库、方法库和知识库。目前，在国外运用非常成功的有决策支持系统。例如有许多著名的金融机构从基于大型主机信息管理的多个系统，转向一种客户/服务器结构下的数据仓库解决方案。惠普开放数据仓库是被用在金融服务中增加决策支持的框架，这个金融业后台管理的工具更类似于传统的“仓库”—旦它的数据项被下载，在一个集中的存储单元以一种有序的方式登录及存储，能对数据进行检索、求合，以各种格式装入多个地址。可以给决策支持一个共同的信息源，消除很多金融服务机构的“数据混乱”的现象。（）[实例1]：南京市利用数据仓库技术实施贷款证制度1997年5月，南京分行开始着手进行南京市贷款证管理网络系统的研制与开发。该系统采用客户/服务器的数据平台结构、数据仓库技术和软件构件技术。1997年7月1日，该系统的一期工程完成并正式投入使用。该系统覆盖南京市区及市辖5县的省、市、县三级一千余家金融机构的贷款证管理业务,大大提高了贷款证系统的工作质量与效率，同时也提高了南京市信贷业务的决策管理水平。从实际运行情况来看，该系统功能齐全、操作方便、结构合理、运行稳定。（开发过程详见：Http://www.fcc.com.cn/9906/9906-05.htm）[实例2]：中国银行省、市两级金融管理信息系统采用数据仓库技术中国银行省、市两级金融管理信息系统是中国银行广东省分行承担开发的国家“八五”科技攻关项目（子专题编号：85-712-14-9-9）。该系统在工程组织和总体方案设计上采用数据仓库（DATAWAREHOUSE）及联机分析处理（OLAP）理论。系统重点围绕中国银行资产负债管理的要求，建立覆盖全省22家分行的数据采集网络，初步实现了计算机业务系统数据和手工报表数据采集、存储的自动化。同时面向各级经营管理人员，开发出财务分析、业务管理、动态报表和金融资讯计50余项管理分析应用。1996年3月，系统在本行投入使用，至97年7月，系统已在广东省22家分行全面推广使用，成为中国银行省、市分行实行科学管理的有力工具。中国银行省、市两级FMIS系统在利用和规范现有网络资源、系统资源的基础上，构造出数据采集、数据仓库、数据呈现三个分系统框架。与中国银行收付清算网络、中国银行办公自动化网络、香港德励财经资讯网络，以及ES/9000、AS/400主机业务系统均实现了连接和集成。（）[附例]：明日银行的展示ATM（自动柜员机）或自助终端提供商NCR，其新近在英国苏格兰生产厂开发生产了视网膜识别ATM系统，该系统结合数据仓库技术模拟了未来银行的运作过程：步入这家银行，该客户便被作为特殊的个人对待。通过终端擦过其银行卡，便会给出一个特别编号的排队票，该票直接与银行的数据仓库连接，瞬时识别用户，并送出一条是谁在等待的信息。此后代表用户的就是一个号码。柜员机顶上的视频屏幕显示出按照用户剪裁的广告。比如在数据仓库储存的交易表明，用户已申请一项抵押，屏幕上就可能出现一个家庭保险的广告。在柜台旁边这是一对一的关系，而柜员机随时拥有同一用户的信息，并可提供特殊顾问的帮助。整个过程不用纸和笔，用户在电子键盘上与银行达成协议。传统银行潜力有限，运营成本太高。“明日银行”告别了烦琐的手续和规定，如果一项贷款需要资深经理审批，银行的网络系统便会自动将电子文件和一条电文发送给这位经理，让其对此发出指示。挪威联合银行估计，仅表格一项每年就可节省1000万美元。银行员工也不再需要在每天结束工作前，花费一两个小时填各种报表、跟踪贷款请求以及其他管理业务。NCR已帮助挪威联合银行设计并实施一种新型总体“银行平台”，包括用户与银行打交道时用到的所有信息、规则和过程，从银行到ATM、电话和Internet。NCR在几周内帮助这家银行建立了一家“Internet”银行。实现从银行到数据仓库，再到每个交付渠道的经营业务新模式。（）三．在税务领域的应用：关键字：数据仓库、税务增加税收、提高效率、改善执法的一致性与公平性、降低对纳税人的负担和干扰，是税务稽征部门的重要目标。然而这些目标往往又是相互冲突的，要在其间找到最适当的平衡点非常困难。通过应用数据仓库技术，对税收部门的内部和外