运用BI快速提升企业经济价值科加诺信息技术(上海)有限公司郑伟zmarkzheng@commit-info.com2009-11TheCoolestBISolution公司历史主要投资商发展历程•1993年创建于瑞典•2000~2006年业务收入增长2,200%•现总部在费城•12个国家设有22个办事处•用户和合作伙伴遍布90个国家董事会•PaulWahl,Siebel前COO、SAP前北美CEO•AlexOtt,Siebel前北美总裁•BruceGolden,Accel,Sun,Illustra和Informix的高级经理•ClaesBjork,Skanska前CEO•MånsHultman,Chairman&CEOQlikTech主席和CEO组织结构•管理团队:前SAP,Siebel,Oracle,PAConsulting,Mactive,Intentia的高级经理•453个员工•HQ在美国•R&D在瑞典2006年业绩连续3年(2003-2006)全球增长最快的BI软件公司2005年收入增长77%,2006年收入增长80%公认的基于内存的分析解决方案领导者目前QlikTech公司已经拥有:438,000使用者10,000个用户分布在90个国家近12月内净增加3,712个新用户平均每天新增14.2个用户在过去的12个月中,我们新曾的知名客户:eBay,Sepracor,DeutscheTelekom,99OnlyStores,MorganStanley,BAT,RIM,ADP,Unilever,VolvoCar,IAWS,WilliamsSonoma,USNavy...传统商业智能(BI)系统介绍传统BI—层次结构Extract,Transform&LoadDataWarehouseDataMarts&AnalysisToolsWebReporting&PortalsTransactionApplicationsEnterpriseDataWarehouseDataExtractionTransformationDataWarehouseReportsDataSourcesReportingandAnalysisDataAccess传统BI—数据建模DataExtractionTransformationDataWarehouseDataSources业务系统数据结构-关系型数据结构数据仓库结构-星型架构(StarSchema)数据建模(DataModeling)*传统商务智能系统的构建核心就是数据建模,数据建模的好坏直接影响商务智能的成败*数据建模的过程通常占整个商务智能项目的30%-50%时间传统BI—数据生成ETL:从源系统中将源数据根据构建完成的数据模型,抽取、转换并装载到数据仓库Cube生成:将数据仓库中的星型模型数据,根据需求要求,生成OLAPCube,供给前端分析工具展现报表数据生成:将企业所需要的静态报表(日报、月报、季报、年报),从数据仓库中提取报表数据,并自动生成报表传统BI有很大局限•平均总实施时间:17个月,部署第一个可用的分析应用需要5个月•平均实施总成本:$12.8M•项目实施的成功率最多只有35%:–建设BI/DW系统(35%成功率)–购买财物/绩效分析应用模块(14%成功率)–购买运营分析应用模块(13%成功率)23%16%11%7%25%5%12%0%5%10%15%20%25%30%Lessthan2months2Š5months6Š11months12Š17months18Š24months25Š48months49monthsormore实现BI需要花多少时间?来源:DMReviewsurveyoftheirreadership,October2004传统BI—系统缺陷•风险度:数据建模需要非常多的时间,造成项目周期比较长。而且由于建模的问题所造成的数据仓库的不合理,从而影响前端分析的效果不能满足用户的需求,增加了项目的风险度•资源消耗:数据的I/O吞吐量非常大,从ETL、Cube生成到报表数据生成都需要大量数据的处理,这需要耗费系统大量的资源和时间•灵活性:一旦最终用户希望增加、调整多维分析的要求,则必须将其需求递交给IT人员,由IT人员从数据建模,Cube制作直至展现,这个过程重新构建•性能:随着并发用户的增加,报表和OLAP的内容增多,系统的响应速度将愈缓慢,即便增加多个应用服务器,也难以从根本上解决性能问题•成本高:软硬件成本、维护成本、培训成本、使用成本很高QlikView介绍QlikView概述•内存的BI:QlikView引领BI系统的变革,数据装载于内存中,实时响应用户的分析需求,计算速度快(一秒内可返回400万条记录查询结果);•完整的BI架构:QlikView是一个集ETL、OLAP分析和展现于一体的BI工具;•点击驱动:QlikView的点击驱动、可视化交互界面允许用户及时访问度量值、详细记录级别并显示出隐藏在业务系统中的一些不可预测的属性;•数据访问:AQL专利技术,直接从用户的业务系统中采集数据并进行多维分析,剔除了传统BI基于数据仓库(集市)才能实施的弊病;•全面支持64位系统;QlikView内存技术•快速查询引擎:QlikView将数据装载到内存中,能够即刻查询用户给定条件的相关数据。•按需计算引擎:QlikView中的所有图表都可以做多维分析。和其他产品主要的不同在于:QlikView的多维分析是用户点击后再执行计算,绝不用预先计算好。•直观的交互式用户界面:QlikView提供了许多图表的类型和各种变化。每一个UI组件都能点击查询。商业智能的趋势1980199020002010用户报表4GL的程序语言动态的SQL标准的数据库OLAPCubes廉价的大容量的磁盘存储在内存中进行分析支持64位技术,多核处理器商业智能第二代产品交互的静态的内存分析管理驾驶舱OLAP分析数据挖掘标准报表易用专家水平复杂度洞察能力传统BI•专家水平才能做分析操作•高成本BI2.0•简单的分析操作•高回报Gartner在2006年10月4日预言,5年内全球70%的大公司将喜欢上在内存中分析数据为每个人提供操作简化的分析功能为每个人提供“快速开发”“易用”“强大的处理能力”“高度灵活”“革命性”QlikView的新规则快速实现价值:客户实施少于30天,大部分只需一周易用:终端用户无需培训,享受“快速点击”的乐趣强大的处理能力:海量数据近乎实时响应,可以高达10亿条记录高度灵活:没有维度和度量的限制,几秒内就可以改变集成性:分析、应用和报表在单一的架构中零风险:试用版中提供了所有功能我们的价值观:1/4时间,1/2成本,2×价值为每个人提供操作简化的分析功能为每个人提供“快速开发”“易用”“强大的处理能力”“高度灵活”“革命性”QlikView新规则我们的价值观:1/4时间,1/2成本,2×价值下载试用版两天内,瑞典壳牌(Shell)就实现了财务数据分析应用原型。他很快成为QlikView的用户并把QlikView的应用推广到销售和运营部门。瑞士的保险公司Zurich采用QlikView以后,把7个全职员工满负荷开发报表的工作量降低到2个人,而且每月只需要工作2-3天。IDG丹麦公司下载了QlikView试用版,一开始对低成本解决方案心存怀疑。然而,由于实现简单,功能强大,IDG很快购买,成为一个对产品非常满意的用户为每个人提供操作简化的分析功能上海银监局通过QlikView改变了手工核对几百张银行报表的工作,项目实施只用两周时间,实现报表自动汇总、关键指标的预测、预警和评价分析。中国商业联合会采用QlikView之后,无需下发70多张纸质报表给100多家大型商业会员企业。会员企业只需使用QlikView单机版就能从不同管理视点灵活分析这些数据。QlikView技术特点传统的商业智能体系结构数据抽取、转换、装载(ETL)数据仓库数据集市OLAP,查询和报表工具用户界面数字仪表盘,记分卡,报表来自不同公司的诸多工具Informatic,DataStage,DecisionSteamReportNet,Brio,CrystalReport,PowerPlay,CMM数据集成数据压缩分析引擎图表和报表引擎用户界面IT驱动Oracle,Sybase,DB2,SQLServer非结构化数据ERPCRM一个厂家提供一个工具终端用户驱动十分钟就能改变QlikView结构特点QlikView数据采集ODSERP其他业务系统QlikViewDW&DMQlikViewQlikView*数据仓库、数据集市、ODS以及源业务系统都可以作为QlikView的数据源,且在QlikView中展现成多维方式QlikView数据文件DateCustomerStoreEmployeeWarehouseVendorContractShipperStoreSales.qvwStoreInv.qvwStoreDelivery.qvwWHInventory.qvwWHDelivery.qvwPurchaseOrders.qvwQVD数据文件QVW展现文件传统BI立方体cubes如何创建?2.把产品字段Product加入立方体(cube)CustomerAmountKate1000Jim2000Joe20001.原始的立方体(cube)CustomerProductAmountKateA1000JimA1000JimB1000JoeA500JoeB1500CustomerProductVendorAmountKateAV1400KateAV2600JimAV2500JimAV3500JimBV1400JimBV4600JoeAV1500JoeBV1500JoeBV4400JoeBV56004.加入更多的维度,例如年/月/日5.加入更多的度量值,例如利润%...!!3.把厂家字段Vendor加入到立方体(cube)CustomerACustomerBCustomerCCustomerD…1000100110021003…ProductAProductBProductCProductD…Order#CustomerProductAmount1000CustomerCProductB1,5001001CustomerAProductB2,5001001CustomerAProductC1,5001002CustomerBProductC3,0001,0001,5002,5003,000…CustomerOrder#ProductAmount阵列集合数据库QlikView文件结构数据如何在QlikView中存储?QlikView应用特色——“快”•快速建模–不需要数据仓库和第三方数据库,直接从业务系统中抽数据,无需传统BI的建模过程。数据装载到内存中,采用专利的AQL查询引擎,能够即刻查询用户给定条件的相关数据。•按需快速计算–所有图表都可以做多维分析。和其他产品主要的不同在于:QlikView的多维分析是用户点击后再执行实时计算,绝不用预先计算好,是运算最快的BI产品。•直观的交互式用户界面–提供了许多图表的类型和各种变化。每一个UI组件都能点击查询。界面表现力强,采用排除法过滤数据,符合人脑决策习惯。可以用VBScript、JavaScript做二次开发。•易用–产品架构简单,上手容易——3分钟安装完成,30分钟掌握基本使用。•灵活性–无维度限制,任何字段都可以作为管理视点进行组合、分析、钻取,支持计算维度和计算度量。字段间任意组合成新的图表和立方体,十分灵活。可以按需随时调整分析模型、界面布局和分析对象。快速适应需求变化,易于推广使用。QlikView与传统BI区别QlikView传统BI产品结构一个厂家提供的一个工具,集ETL、OLAP、展现于一体由ETL工具、数据仓库、CUBE、OLAP、报表工具等不同厂家不同产品组成安装过程安装文件小于100M,几分钟内安装完成。单机版支持免安装。安装文件庞大(甚至几张光