商务智能：IBM电信业商业智能解决方案（PPT 76页）

IBM电信业商业智能解决方案议程•数据分析与决策支持系统面临的挑战•IBM商业智能解决方案简介•IBM方案优势电信企业的需要•帐务统计•收益分析•网络、基站运维分析•绩效考核•客户关系管理•风险预测•市场竞争分析•......帐务统计、分析日、月统计报表月结算报表营业收入统计、分析资费来源统计、分析业务量统计、分析......收益情况分析收入总量分析及预测收入增量分析及预测ARPU分析及预测收入结构分析及预测大客户收入情况分析及预测客户交费情况分析及预测客户欠费情况及其结构分析及预测新增客户交/欠费情况分析及预测欠费回收情况分析高额/欺诈分析销账分析市场竞争分析市场占有率分析及预测市场需求分析及预测竞争对手发展情况分析及预测各竞争对手的市场营销分析供应商市场行为特征分析合作商市场行为特性分析业务发展分析业务量发展分析及预测业务增量分析及预测MOU分析及预测新业务使用量分析及预测业务资源使用特征分析及预测大客户使用业务量的特征分析及预测大客户使用业务的特征分析及预测流量和流向特征分析及预测客户分析客户总量分析及预测新增客户分析及预测客户净增量分析及预测客户流失量分析及预测客户转网量分析及预测大客户发展分析及预测客户消费能力分析及预测客户消费习惯/爱好分析及预测客户信用度分析外来用户分析模拟用户分析储值卡用户分析潜在用户分析零次用户分析一户多卡用户分析客户关系管理及市场策略发现优秀客户发现易流失客户群调整产品定价发现客户行为模式开发新产品交叉销售......网络、基站分析基站配置与话务量分布情况分析分析各时段各基站/交换机的负载情况网络收益分析网络容量分析网络安全分析热点小区分析路由分析等服务质量分析客户服务质量分析客户服务时限分析客户咨询查询焦点分析客户投诉焦点分析大客户服务质量分析客户满意度分析客户忠诚度分析营销管理分析市场价格分析营销渠道作用分析代销代办酬金分析营销人员素质分析营销宣传市场效果分析促销行为市场效果分析综合决策分析决策取向模拟分析决策行为市场操作模拟分析决策行为市场效果模拟分析绩效考核分公司绩效考核营业部绩效考核营业员绩效考核......当前状态计费系统网管系统财务系统营业系统结算报表CRM局长信息系统挑战：信息孤岛财务系统市场促销数据客户数据营业数据呼叫中心数据建立数据仓库、实施商业智能生产系统数据仓库OLAP智能挖掘如何实施商业智能分析的复杂度和价值统计多维数据挖掘优化阶段1阶段2阶段3阶段4阶段5分析的阶段数据集市数据仓库发现验证IBMBI解决方案产品业务系统1业务系统2业务系统3业务系统n……数据仓库管理器/数据库WarehouseManager/DB2UDBDB2OLAPServer报表工具QMFDB2OLAPServerAnalyzerIntelligentMinerforData其它应用IBMBI体系结构DB2UDBDB2UDBDB2WarehouseManager数据仓库管理器MetaDataDB2OLAPServerDB2/WarehouseControlCenterOLAPServerAppManagerOLAPServerAnalysisServer客户端工具支持WEB决策支持工具和应用程序DB2FamilyORACLEInformixSybaseSQLServerIMS&VSAMFilesDataJoinerDB2IntelligentMinerforData数据智能挖掘服务器什么是数据仓库数据仓库是指从业务数据中创建信息数据库，并针对决策和分析进行优化。–数据仓库中的信息是面向主题的、集成化的、稳定的、随时间变化的数据集合，用以支持管理决策的过程。–数据来自多个数据源，并整合到一个数据库中。–在数据整合的过程中数据要经过聚合、摘要和清洗。不同的数据用于不同的目的面向主题集成比较稳定包含历史数据支持管理决策面向应用有限集成经常更新仅有当前值支持日常业务运作业务数据信息数据业务数据和信息数据根本不同！TrustAccountsCheckingAccountsLoanAccountsLoanAccounts年月日AccountHistory建立数据仓库的过程商业主题业务信息业务数据管理转换工具商业视图元数据成员映射商业视图Templates外部数据DB2DataWarehouse体系结构LogServerKernel?Dispatcher?SchedulerClientsWarehouseServerWarehouseAgentsDatabasesRelationalSourceDB2TargetDataMessageMessageNon-RelSourceEndUsersDataDataDataDataNT/2000,OS/2,AIX,Sun,OS/390,AS/400?DDD?Log?Editions?ConfigurationControlDatabaseDB2MetadataMetadataTypetitle?TypetextFlatFilesDataWarehouseCenterMessageNT/2000NT/2000AgentNT/2000,AIX,SunIncludedwithDB2UDB数据仓库代理(Agent)技术数据仓库控制服务器(WarehouseControlServer)时间表启动从控制数据库中获取商业视图定义启动代理(通过代理后台进程)循环:-接受和记录结果-更新客户端显示数据仓库代理(Agent)响应VW管理器循环:-接受命令-执行命令-报告状态DB2UDB高度并行的海量数据库Cluster多个大缓冲区支持64位内存寻址内存管理单处理器对称多处理(SMP)MassivelyParallelProcessor(MPP)增强的SMP并行支持MPP并行支持并行事务CPUSQLCPUSQLCPUSQLCPUSQL并行查询SQLCPUCPUCPUCPUSQLQueryQueryOptimizerBestQueryPlanThreadedCodeCompile-TimeRun-TimeAgentAgentAgentPrefetchersSinglequeryinvolves?1coordinatingagent?nsubagents?mprefetchers(shared)?AllexecutinginparallelonavailableprocessorsCombinationof...?DataparallelismEachagentworksonsubsetofdataDatadynamicallyassignedsousernotrequiredtopartitiondata?Functionalparallelism(pipelining)Eachagentworksondifferentqueryfunction,e.g.scan,sortAlsoenables?ParallelIndexCreate?ParallelBackupandRestoreAllowsmultipleprocessestoreadorwritedatato/fromthedatabase?ParallelLOADExploitationofmultipleprocessorsduringload,particularlyforparsing/converting/formattingdata节点内部并行ParallelEdition-style(shared-nothing)DataparallelismthroughhashpartitioningPartitionscanbe...?PhysicalonMPPorcluster?LogicalonSMPRun-TimeAgentPrefetchersAgentPrefetchersAgentPrefetchersnode0node1nodenSQLQueryQueryOptimizerBestQueryPlanThreadedCodeCompile-Time节点间并行(数据库分区间并行)................................................................SingleDatabaseViewParallelOptimizerUserQueryNode(CPU)Node(CPU)Node(CPU)Node(CPU)Shared-nothingsoftwarearchitecturesupports?IndependentphysicalnodesSeparateCPU,memory,anddiskIncludingSMPnodesOR?MultiplelogicaldatabasepartitionsonsinglelargeSMPServerInterpartitioncommunicationiscrossmemory,notcrossnetworkDataispartitionedacrossnodesautomaticallybyhashingEverythingoperatesinparallel?Select?Insert?Update?Delete?Backup/restore?Load?Createindex?Reorg充分利用分区数据库的能力SocialInsuranceNumberNameLocation123-456-789JoeBostonTorontoPartitionKeyvalueHashedto:8VectorPosition0123456789101112...Node1231231231231...DB2DB2DB2PartitionMap?Determines'home'forrow?CanbeadjustedfordataskewusingtheREDISTRIBUTEutilityHash分区和分区映射表BlendsbestofMPPandSMPstyleofparallelismIdealforSMPclustersMostflexiblehardwaresupportLeadingEdgeQueryOptimizer!Run-Timenode0AgentAgentAgentPrefetchersnode1AgentAgentAgentPrefetchersnode2AgentAgentAgentPrefetchersSQLQueryQueryOptimizerBestQueryPlanThreadedCodeCompile-Time分区内及分区间并行DB2UDB:更大的容量•表/视图/列/别名长度增加–名字更容易记忆–更容易移植•SQL语句长度可达64KB–更复杂的查询和分类(如数据挖掘)–由工具自动生成的语句•VARCHAR大小可以达到32KB–更小依赖LONGVARCHAR，节省空间并提高性能•最大表/表空间大小64GB/128GB/256GB/512GB–可以生成更大的表而不需要分区(partition)•索引字段总长度达1024byte–可以对更多/更长的字段加索引DB2UDB:优化技术•优化级别0-9•查询重写–增加隐含的条件–一般条件下压(pushdown)–子查询该为JOIN–消除不必要的JOIN–将量化的条件转化为标量子查询–将OR转为IN–将IN转为JOIN–视图合并–消除不必要的DISTINCT•优化器扩展•减少限制•RID列表排序•IndexOring•执行计划分析•避免Cartesian积•增强的JOIN大小估计•非统一的分布式统计•I/O统计•对随机和顺序I/O不同处理•锁优化•可修正的CPU和I/O成本估算•可更新的目录统计DB