商业智能技术与应用发展现状之分析

从听到关于沃尔玛超市的“啤酒”与“尿布”的故事，我们知道了商业智能（BusinessIntelligence,BI）应用可以如此神奇地分析出两种看似毫不相干的东西之间原来还有着千丝万缕的联系，如今以数据仓库为核心的BI应用正在成为国内很多用户们实施的热点。据IDC最新的研究报告称，2006年亚太地区BI解决方案市场将达33亿美元，这是目前市场价值12亿美元的近3倍。本文则对商业智能应用这个热点从宏观到微观、从技术到应用进行了冷静全面的分析。BI热点冷思考——商业智能技术与应用发展现状之分析郑晓军技术篇IDC将商业智能解决方案定义为帮助企业跟踪、分析、模拟和预测他们自己的业务过程以及他们的客户、供应商和合作伙伴关系的解决方案。从技术架构来讲，商业智能系统主要由数据仓库系统、数据源、商业智能应用和元数据几个部分组成。在当今的商业环境中，市场竞争日益激烈，它促使企业和机构在信息系统的建设上不仅仅需要对业务流程的支持，同时需要从信息系统中获得从客户、营销、企业的运营状况到供应渠道的通畅与否等高层次的分析决策信息，并且将决策结果运用于日常业务以提高企业整体效益。然而，传统的业务系统则是针对分离的事务处理而设计，并不擅长于多层次的分析和统计。由此，商业智能应用应运而生，它通常是一个独立的系统，能够从传统业务系统中获取各类客户数据和业务数据，由此建立多层次的分析体系，并将其转化成有商业意义的信息。1.数据仓库系统数据仓库系统是商业智能应用的核心，它是整个系统存储和管理数据和信息的地方。数据仓库系统可分为以下几个部分。数据抽取、转换和装载(Extract,Transform,Load)负责将数据从业务系统或外部系统中获得，转换和处理成数据仓库需要的格式和形态，并在规定的时间装入到数据仓库中去。通常我们把这三个具体的步骤统称为ETL，在系统实现时一般采用数据抽取工具和应用编程实现，并拥有调度管理和控制功能。数据仓库(DataWarehouse)数据仓库是数据存储核心，目前，大多数数据仓库采用关系型数据库管理。由于数据量的庞大和查询复杂的特点，在系统配置上强调大规模并行处理和针对决策支持访问的专项优化。操作数据(OperationalDataStore)近年来，随着商业智能应用的需求，如数据挖掘和实时业务分析，在数据仓库中需要有部分数据拥有当前数据的特征，根据业务系统的变化而变化，不必关心历史信息，同时又拥有数据仓库数据面向主题的特点。这部分数据叫作操作数据，一般采用关系数据库存储，规模适中，强调快速查询响应能力。数据集市(DataMart)数据集市存储了由数据仓库来的，经过裁剪和归整的数据，这些数据针对某个业务部门或某种业务分析应用而建立。数据集市一般都对数据进行了各种层次的汇总，并建立多维分析的模型，同时也包括了数据采样。数据集市的存储主要有关系数据库和多维数据库。其中，多维数据库存放多维分析数据，而关系数据库则存储星型模式。数据归整(Refinement)数据归整指数据从数据仓库到数据集市的过程，它是数据仓库系统内部的数据处理和转换的过程，主要的任务是多维模型的转换、数据的汇总和采样等。有时，它由ETL系统统一调度完成。2.数据源数据源包括了现有企业中所有的信息系统，以及根据决策分析需求可能涉及的其他外部数据资源。它主要包括业务数据和外部数据。3.商业智能应用商业智能应用涉及数据和信息的展现部分，它是用户使用商业智能系统的界面。目前的商业智能系统一般提供以下的功能：查询和报表、联机分析处理(OLAP)、数据挖掘和数理统计以及商业应用。4.元数据所谓元数据就是管理商业智能系统的数据，其主要部分类似于数据字典，其内容贯穿了商业智能应用的各阶段，记录着从ETL到分析展现各个阶段和各组成部分的管理信息。在系统管理上，试图提供统一的平台对元数据进行管理和维护，并通过元数据的状态驱动系统各部分的运转。不过，就目前而言，元数据的概念在数据仓库业界尚未拥有一个统一的标准，各个数据仓库厂商的产品间元数据也是不能够互通的。问题篇商业智能应用的规划、设计、开发、实施是一项相当复杂的系统工程。事实上，国内用户在发展商业智能应用的过程中确实遇到这样或那样的问题，这些问题有些涉及宏观的系统定位和应用发展理念，有些出于具体的实现步骤或技术，还有些是认识上的误区。1.系统需求和定位问题：是望闻问切还是中西医结合？许多用户与我们谈到商业智能系统需求的问题集中在：应用需求的不明确（具体业务部门提不出需求)、不急迫；企业决策层对该类系统的用途及如何得到投资回报不清楚；系统建设复杂(不知该如何设计模型、存放什么信息)，令人望而却步。这些问题实际上在某种程度上与东西方文化差异有关。事实上，西方国家自工业革命之后，强调用可量化的尺度来描述生产、生活的各个方面，并由此发现和掌握其规律。相反，古老的中国文化则更注重经验、直觉和对人性的把握，对数据的依赖性就相对薄弱。这好比中医和西医。如果将企业比作病人，商业智能系统则是温度计、心电图机、B超、CT扫描和核磁共振，这对西医是必不可少且是最有力的工具。但对传统中医而言，望、闻、问、切是日常工作的方式。如果将企业的管理人员比作医生，中西医结合的道路就是一个好的解决方案。2.系统反复、受非技术成份影响大：商业智能是“一把手”工程吗？商业智能系统的可持续发展力差、系统常被废弃而后又重建，造成资源浪费；技术和概念停滞不前，应用上不去；且受非技术的影响大。这是国内目前商业智能应用较普遍的问题。有些人说，商业智能系统是“一把手”工程；这表面上看是对商业智能系统的肯定，但实际上是一个误区。基于这样的概念建立的商业智能系统，功能的单一是一定的，而且也是最容易遭受由于权力的更替而带来的灭顶之灾。事实上，商业智能系统的应用面在一个企业中是多层次的，其广泛程度超过任何一个业务处理系统，但前提条件是各部门业务人员和管理人员具有基于数据、统计和分析去指导决策和行动的工作习惯。3.信息平台和应用的问题：先开发应用还是先建立数据仓库平台？国内企业对商业智能的需求一般是从具体的应用开始，如大客户管理系统、领导决策支持系统、经营分析系统、财务管理系统等等。但这些应用的背后都需要数据仓库的支持。这样就引出了一个问题，是先开发应用还是先建立数据仓库平台。在信息平台和实际应用间有效地平衡，将系统的建设可分阶段实施、可持续发展是商业智能应用实施的关键。4．思维模式问题：商业智能系统与传统事务处理系统相似吗？目前，国内企业商业智能系统实施过程中的一个主要的问题是带着明显的传统事务处理系统的思维模式。这种惯性的思维主要表现在：系统的设计仍沿用传统生命周期的思想，根据需求、开发应用，但商业智能的应用需求往往复杂多变;在商业智能系统实施方法学上显得落后;对商业智能领域的技术发展趋势的了解和把握还不足，在产品选型上对其技术路线和定位研究不透彻，在数据仓库核心的选择上一般单纯地以性能为衡量指标，动辄大搞性能测试，既不全面也不专业，殊不知查询性能在商业智能系统中是最容易被满足的。5．商业智能仅是业务报表吗？许多企业会把实现现有业务报表的问题作为商业智能应用的开始，这虽然看起来是一条务实的途径，但实际上可以算是一个误区，其中隐藏着风险。企业领导每日看报表但并不关心报表从何而来。如果商业智能系统以报表起步，就必须向决策者解释这仅仅是最基础的功能。而我们的项目实施人员往往在这一点上很难与高层领导达成共识，毕竟“钓鱼工程”、“豆腐渣”工程在今天是太多了。因此，商业智能系统的建设必须满足报表，但更要超越报表，从一开始必须给企业的决策层感受到商业智能应用的威力。6．系统投资回报问题：决策何以实施？任何一个IT系统的建立都要讲究投资回报。整个商业智能应用的绝大部分时间都是在花钱：从数据的采集、数据仓库的存储、各种分析、挖掘的服务器和软件。而真正能够使商业智能应用赚钱的阶段则是因此得到正确的决策，并运用于企业的业务和市场。这是一个开环和闭环的问题。目前的国内企业，对闭环的问题考虑不多，即便是有了决策支持系统，问题是这些决策能否有通畅的渠道得以实施？7．应用条件成熟度问题:商业智能是否需要业务系统完善为前提？有不少对商业智能有需求的国内企业，其传统的事务处理系统仍不完善，如零售行业、一些制造业企业和乡镇企业等。这在国外并不多见。但对国内企业来说，是否需要等到业务系统完善之后再考虑商业智能呢？实际上并不一定，因为市场竞争并不等人。实际上，数据采集的方式多种多样。即便是一个用笔和纸纪录业务过程的机构，也可以通过扫描和识别将数据汇入数据仓库或数据集市，实现分析决策。同时，我们还应该有概率统计的概念，在无法获得全部完整数据的情况下，系统通过概率加权，依然能够提供足够准确的分析。建议篇商业智能应用的建设是一个经验积累的过程。面对用户面临的各种问题，我们对用户在观念与设计思路、技术实现关键问题以及人员的主动性等方面提出如下建议。1.观念与设计思路的转变首先，用户要采用从战略上藐视、战术上重视的观念，突破商业智能应用神秘化的思想，只不过将它作为另一种类型应用；其次商业智能应用要满足多层次应用的需求;反对将系统简单归为“一把手”工程，尽量降低系统建设过程中非技术的影响因素；要注重激发量化科学管理的积极性，根据应用的实际需要，规划商业智能应用，从两个方面可以将商业智能系统分为战略性的用途和战术性的用途：一方面是对数据的使用程度，另一方面是应用的部署。所谓战术性指面向局部的，解决特定问题的方案，而战略性指面向全局的，解决整个企业管理问题的方案。2.技术实现关键数据模型设计关注业务流程而非业务部门或应用目前，业界较为流行的误区是将数据仓库的设计根据业务部门或应用功能进行划分。我们在数据仓库的设计中经常会见到“大客户分析”、“客户行为分析”或“客户流失分析”等不同的应用主题。事实上，仔细研究各个应用，我们不难发现，它们均使用了同一个数据源：客户交易的数据。与其在不同的应用中建立客户交易的信息，不如在数据仓库中建立统一的客户交易信息提供多个分析应用使用。关注于业务的流程而非业务的部门或应用能够让我们更清晰、更经济地整合企业的信息。数据仓库的建模应根据业务的流程和数据源来决定。系统建设可分阶段实施、可持续发展虽然数据仓库设计作为决策分析系统的主要部分将在设计阶段集中解决，但数据仓库的建设是一个系统工程，其中涉及的数据源也可能分散在各个部门，在系统实施过程中会遇到各种包括非技术因素在内的问题。因此，数据仓库的设计必须“大处着眼、小处着手”，数据仓库的建模必须提供系统可以分阶段实施、并在应用层面保持系统可持续发展。同时，每个阶段的建设必须注重投资回报、提供资源共享。注重数据的完整性对于每一个数据仓库关心的数据源，我们在数据仓库设计时都将从最明细的数据层次进行收集。即使将来的分析大部分都是基于汇总的数据，但数据仓库中最底层的数据模型将对应业务系统中最明细的部分。这样的设计，使得数据仓库的建模和数据采集对于业务系统来说是一步到位的。而这样设计出的分析模型是能够支持所有可能的业务分析的。不会因为数据仓库的设计而丢弃业务的细节、导致未来系统重建。尽量减小需求的变化对系统设计的影响需求的变化导致数据仓库模型的变化。这个问题是数据仓库系统建设中非常关键的问题，有时会影响数据仓库建设的成败。需求的变化客观上是不可避免的，一个好的数据仓库设计当然能够减少需求变化对模型的影响，但遵从一定的设计原则则可以将这种影响降至最低。解决的方法有分层次的模型设计思想，各种具体设计原则和技巧应对可能发生的扩充和变化。3.集成商与用户的主动性至关重要来自集成商和最终用户两个方面的主动性是影响到商业智能应用的主要因素（请见下图）。由图中可见，以最终用户的主动性更为突出。因此，增强客户对商业智能系统实施的主动性是首要问题。其次，IT部门和业务部门的配合也非常关键。由此，业界有人提出建立BI促进中心的想法：在需要实施商业智能应用的企业，由IT部门和业务部门的代表，加上专业咨询顾问，共同建立一个企业商业智能应用促进中心，专门负责在整个企业范围内推广商业智能应用，并负责评