商务智能技术研究综述

商务智能技术研究综述一、商务智能概述商务智能（BusinessIntelligence，简写成：BI），根据全球第一家信息技术研究和分析公司、国际知名咨询公司——Gartner集团的定义，是指对商业信息的搜集、管理和分析过程，目的是使企业的各级决策者获得知识和洞察力，帮助他们做出对企业更有利的决策。商业智能可以显着提升企业效率，改善商业表现，目前已经被多个行业的企业所采用，尤其在电信、金融和电子政务等数据信息数量庞大的领域都受到了极大的重视，除此以外，能源、物流、烟草、制造业等也是商业智能大展拳脚的平台。在大数据指数增长且日趋成为企业战略资产的背景下，人力成本的持续提升和环保压力的加大促使企业增加对BI的需求。ERP等管理软件的普及和CIO对BI的认可，为BI的发展提供了所需的数据积累和客户基础，而近期国家针对BI的政策扶持也已初现端倪，预计物联网“十二五”规划和智慧城市建设将为BI发展带来全新契机，可以预见，“十二五”时期，BI市场的潜在市场空间将超过300亿。近几年来，国内BI市场的竞争激烈程度日益攀升，不论是专业的BI产品供应商，还是其他管理软件商，都已采取了频繁快速的举措，甚至是国际供应商都已进入中国市场，多方竞争力已经开始着力抢夺国内市场。目前，国内BI市场上拥有优势地位的除了IBM、Oracle、微软、SAP等传统国际先进企业外，还有用友、东方国信、浪潮、金蝶、亚信创联等一批国内优秀企业，他们已经打破了国际企业垄断中国市场的局面，且都正以较快的速度成长。二、商务智能的技术基础而为了实现商务智能，相应的商务智能技术技术也应运而生。所谓商务智能技术，也即企业利用数据仓库（DataWarehouse）、数据挖掘（DataMining）、在线分析处理（On-LineAnalyticalProcessing）决策支持系统（DecisionSupportSystem）等现有信息系统对企业经营过程中产生的大量结构化和非结构化商务数据和信息进行收集、整理、分析，以便辅助企业做出正确决策，采取有效商务行动，优化商务流程。是全面提高商务绩效的工具，方法，技术的统称。是企业提升智能化决策水平一系列的关键技术，是多项技术交叉在一起的复合应用。商务智能技术是在数据仓库的基础上发展起来的。数据仓库具有丰富的数据采集、数据管理、数据分析和信息描述的功能，因而基于数据仓库架构的商务智能系统提供了针对不同行业特点或特殊应用领域的解决方案软件包，这样使得企业的决策者们更能迅速、敏捷地做出商业决策。在IBM定义的商务智能系统体系架构中，分为以下几个部分：1.企业信息入口提供了一个用户与企业的商业信息和应用软件间基于Web的接口。各个客户端通过该入口来获取信息。2.商业智能应用软件提供许多针对不同行业特点或特定应用领域的商务智能解决方案软件包，帮助用户解决在商务活动中所遇到的复杂问题。如可针对咨询企业提供客户分析和用户发展分析；为零售企业提供收益情况分析和服务质量分析；为品牌专卖提供营销管理分析和渠道分析。3.数据仓库架构商务智能的基础是数据仓库架构。这个架构是广义的数据仓库架构，包括了决策支持工具、数据访问支持、数据仓库的数据管理和数据仓库建模或构造工具。决策支持工具包括查询和报表工具、在线分析处理和信息挖掘工具。这些工具能够处理来自不同数据库和文件系统的信息，包括结构化和非结构化的数据。数据访问支持包括应用程序接口和中间件服务器，使得用户工具能够访问和处理数据库和文件系统中的商业信息。数据库中间件服务器允许用户透明地访问各种异构的后台数据库服务器，Web服务器中间件允许Web客户连接到数据库中。数据管理用于管理用户采集的商业信息。商业信息被分成三个层次：最上面是全球数据仓库，集成整个企业的商业信息；中间层是部门数据仓库（一般被称为数据集市），包含企业部门的商业信息；最底层是个人信息库，用于存放用户个人所需或特殊用途的信息。数据仓库建模及构造工具用于从可操作的和外部的数据源系统中收集数据，并进行清理和转换，然后存入全球数据仓库或部门数据仓库。4.可操作的、e-business、外部数据是指数据仓库的数据来源，包括在进行的商业运作过程中产生的各种业务数据、电子商务系统运行过程中产生的数据和从企业外获取的商业数据。5.元数据管理用于管理于整个商务智能系统的元数据。6.系统管理对商务智能系统进行管理，包括安全性和验证、权限设置、备份和恢复、监控和调整、审核等。在商务智能系统的体系架构中，核心技术包括数据仓库技术、在线分析处理（OLAP）技术和数据挖掘技术。从技术角度看，商务智能的过程是企业的决策人员以企业中的数据仓库为基础，经由联机分析处理工具、数据挖掘工具加上决策规划人员的专业知识，从数据中获得有用的信息和知识，帮助企业获取利润。从应用的角度看，商务智能帮助用户对商业数据进行OLAP和数据挖掘，例如预测发展趋势、辅助决策、对客户进行分类、挖掘潜在客户等等。从数据的角度看，商务智能使得很多事务性的数据经过抽取、转换之后存入数据仓库，在经过聚集、切片或者聚类、分类等操作之后形成有用的信息、规则，来帮助企业的决策者进行正确的决策。因此，数据仓库、在线分析处理（OLAP）工具和数据挖掘工具构成了商务智能系统的基础。三、商务智能的技术工具1.终端用户查询和报告工具专门用来支持初级用户的原始访问，不包括适用于专业人士的成品报告生成工具。2.OLAP（在线分析处理）系统数据仓库系统在数据分析和决策方面为用户提供服务，即以不同的格式组织和提供数据，来满足不同用户的需求。在线分析处理（OLAP）系统就是基于这个理念设计的。OLAP提供多维数据管理环境，其典型的应用是对商业问题的建模与商业数据分析。OLAP也称为多维分析。OLAP的基本操作包括切片（按二维选择数据）、切块（按三维选择数据）、下钻（展开同一级数据的详细信息）、上卷（选择更高一级的数据详细信息以及数据视图）和转轴（获得不同视图的数据）。多维数据模型在物理实现时，主要有三种方式：ROLAP结构、MOLAP结构和HOLAP结构。其中ROLAP是基于关系数据库的OLAP实现，MOLAP是基于多维数据组织的OLAP实现，HOLAP是基于混合数据组织的OLAP实现。一般的，OLAP技术在汇总的和细节的历史数据上操作。它的主要优势是支持多维数据分析。OLAP是面向市场的，用于知识工人（包括经理、主管和分析人员）的数据分析。OLAP系统管理大量历史数据，提供汇总和聚集机制，并在不同的粒度级别上存储和管理信息，这样便利了需采用多种数据维度的决策构建。OLAP系统常常跨越数据库模式的多个版本。OLAP系统也处理来自不同组织的信息，由多个数据存储集成的信息。由于数据量巨大，OLAP数据也存放在多个存储介质上。从对商务智能系统的作用来讲，OLAP系统是使管理人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解并真实反映企业特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的软件技术，以弥补其它作业信息系统的报告功能在决策支持方面的不足。3.数据挖掘数据挖掘技术就是从数据库中抽取隐含的、以前未知的、具有潜在应用价值的信息的过程。它综合了数据可视化、机器学习、统计学和数据库技术。通常来说，在大量的应用数据中，往往隐含着人们事先不知道的、但又是潜在有用的信息和知识。数据挖掘能通过某种算法，使用诸如神经网络、规则归纳等技术，从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现有用知识，如新的商业机会等。数据挖掘可用来发现数据之间的关系,做出基于历史数据的推断。从数据仓库的观点来看，数据挖掘可以看作联机分析处理（OLAP）的高级阶段。数据挖掘功能包括发现概念/类描述、关联、分类、预测、聚类、趋势分析、偏差分析和类似性分析。特征化和区分是数据汇总的形式。典型的数据挖掘系统主要包括了知识库、数据挖掘引擎和模式评估模块。知识库是领域知识，用于指导搜索，或评估结果模式的兴趣度。这种知识可能包括概念分层，用于将属性值组织成不同的抽象层。数据挖掘引擎是数据挖掘系统基本的部分，由一组功能模块组成，用于特征化、关联、分类、聚类分析以及演变和偏差分析。模式评估模块使用兴趣度度量，并与数据挖掘模块交互，以便将搜索聚焦在有趣的模式上。从对商务智能系统的作用来讲，通过数据挖掘，可从数据仓库中提取有趣的知识、规律或高层信息，并可以从不同角度观察或浏览。发现的知识可以用于决策、过程控制、信息管理、查询处理等等。从技术特点上来说，OLAP是帮助用户分析和了解过去，数据挖掘是帮助用户预测未来；两类技术在一定程度上融合，会使分析操作智能化，使挖掘操作目标化，从而全面提升商务智能技术的实用价值。一方面，联机分析技术可以为数据挖掘提供预期的挖掘对象和目标，避免挖掘的盲目性。另一方面，数据挖掘技术可以使联机分析处理智能化，减少分析人员手工操作的繁杂性，减轻分析人员的负担。4.执行信息系统执行信息系统是一套数据存储与分析工具。报告工具生成的简单报不能满足管理者对信息的要求，而且查阅大量的报表会占用管理者很多的时间。而在执行信息系统中，引入了深层挖掘、趋势分析和异常报告等导航和分析特性,为理解商业发展趋势、识别问题和机遇提供直观、可视化的环境。5.商务智能解决方案商务智能系统提供许多针对不同行业特点或特定应用领域的商务智能解决方案软件包，协助用户解决在商务活动中所遇到的复杂问题。其主要应用行业包括制造业、保险业、银行、金融和证券行业、电信等。