竞争情报技术分析

4.竞争情报技术分析情报学：杜成杰4.1OLAP技术4.2数据挖掘技术4.3信息融合技术4.4案例推理技术4.1OLAP技术4.1.1OLAP技术概述4.1.2OLAP多维数据结构4.1.3OLAP体系结构与实现的关键技术4.1.4OLAP评价准则4.1.5OLAP技术的发展趋势OLAP技术概述（1）OLAP技术的发展背景E.F.CoddOLAP与OLTP的不同点OLAPOLTP用户应用系统的操作、维护人员管理、决策人员、分析人员功能日常操作处理分析决策数据库设计面向应用面向主题数据当前的、最新的、细节的历史的、聚集的、多维的、集成的存储（上限）读/写数十条记录读上百万条记录工作性质事务性工作简单、复杂的各类查询数据库大小（上限）100MB-GB100GB-TB（2）OLAP技术中的基本概念OLAP的定义：使分析人员、管理人员或执行人员能够从多种角度对从原数数据中转化出来的、能够真正为用户所理解并真实反映企业维特性的信息进行快速、一致、交互的存取，从而获得对数据的更深入了解的一类软件技术。OLAP相关基本概念：维：角度、属性（时间维、地理维）维的层次：某个维（时间维：日期、月份、季度、年）维的成员：维的一个取值（2011.3.15）多维数组：维和变量的组合表示（时间，地区，产品，销售额）数据单元：多维数组的取值（2000年1月，上海，笔记本电脑，100000美元）（3）OLAP的分类与比较ROLAP：关系型联机分析处理MOLAP：多维联机分析处理HOLAP：混合联机分析处理（4）OLAP的特性快速性可分析性多维性信息性4.1.2OLAP多维数据结构产品名称地区销售量螺母东部50螺母西部60螺母中部100螺钉东部40螺钉西部70螺钉中部80螺栓东部90螺栓西部120螺栓中部140垫圈东部20垫圈西部10垫圈中部30产品名称东部西部中部螺母5060100螺钉407080螺栓90120140垫圈201030﹛︷维维OLAP多维数据结构①超立方结构②多立方结构OLAP的多维数据分析①切片和切块②钻取③旋转/转轴切片和切块AdHocViewRegionalMgr.ViewProductMgr.ViewTImeMgr.ViewregionTIMESALES钻取时间地区2003年2003年1月2003年1月1日2003年1月2日2003年1月3日2003年2月旋转/转轴时间地区地区漫游4.1.3OLAP体系结构与实现的关键技术（1）体系结构—三层客户机/服务器结构1、客户机2、分析服务器3、企业服务器优点：将应用逻辑、通用用户接口及数据库管理系统严格区分开来（2）实现的关键技术1、实视图及其维护2、立方体计算3、查询优化与并行处理技术4、数据集成4.1.4OLAP评价准则1、OLAP模型必须提供多维概念模型2、透明性准则3、存取能力推测4、稳定的报表能力5、客户机/服务器体系结构6、维的等同性准则7、动态的稀疏矩阵处理准则8、多用户支持能力准则9、非受限的跨维操作10、直观的数据操纵11、灵活的报表生成12、不受限的维与聚集层次4.1.5OLAP技术的发展趋势（1）OLAP技术与数据挖掘、Web集成（2）分布式OLAP技术（3）OLAP与高级数据库技术的结合4.2数据挖掘技术4.2.1数据挖掘技术产生的背景4.2.2数据挖掘的主要功能4.2.3数据挖掘过程4.2.4数据挖掘与OLAP4.2.5数据挖掘的应用4.2.6案例分析4.2.1数据挖掘技术产生的背景数据挖掘：在一些事实或观察的集合中寻找模式的决策支持过程。（去粗取精、去伪存真）产生背景（1）数据（信息）本身的需求（2）商业发展的需求（3）信息技术自然演化的结果：1数据库、数据仓库和Internet等信息技术的发展2计算机性能的提高和先进的体系结构的发展3统计学和人工智能等方法在数据分析中的研究和应用4.2.2数据挖掘的主要功能1、概念描述2、关联分析3、分类和预测4、聚类分析5、孤立点分析4.2.3数据挖掘过程1、业务理解2、数据理解3、数据准备4、建立模型5、评价6、实施4.2.4数据挖掘与OLAP区别：OLAP：验证型分析数据挖掘：挖掘性的分析工具联系：1、OLAP可用于验证数据挖掘预测的结果，检验其正确与否2、经过数据清理、变换和集成的数据仓库不仅可用作OLAP的数据源，也可作为数据挖掘高质量、有价值的数据源3、联机分析挖掘使得数据挖掘更加高效灵活4、数据挖掘功能的联机选择4.2.5数据挖掘的应用1、Web中的数据挖掘应用1）Web挖掘的数据：用户的背景信息浏览信息Internet自身信息2）Web挖掘类型Web内容挖掘Web结构挖掘Web使用挖掘3）Web挖掘中的关键技术路径分析技术关键规则挖掘技术序列模式挖掘技术聚类分类技术4）Web挖掘的应用理解顾客行为判断Web站点的效率评估电子商务模式的成功与否2、竞争情报中的数据挖掘应用1）情报收集2）情报处理3）情报分析3、零售业中的数据挖掘应用4、电信业中的数据挖掘应用5、针对金融分析的数据挖掘应用等等4.2.6案例分析数据挖掘在中国移动经营分析系统中的应用专题类别专题名称商业目标所使用的主要数据挖掘技术客户保持流失预测专题确定本网可能流失的高价值客户以便通过关怀和挽留实现客户保持分类、聚类分析客户提升交叉销售专题确定最优的产品组合销售策略“挖掘销售机会”提升客户价值关联规则分析、分类分析基础建设、差异化的市场营销与客户维持客户细分确定不同客户群组的不同行为特征和消费需求特征以便实施差异化营销聚类分析4.3信息融合技术4.3.1信息融合的涵义4.3.2信息融合的方法4.3.3信息融合的实施步骤4.3.4信息融合的关键技术4.3.5案例分析4.3.1信息融合的的涵义（1）信息融合的定义信息融合就是为了某一目的，利用计算机技术对来自多元的数据和信息进行组合或综合的处理过程，以期得到比单一信息源更精确、更可靠的估计或推理决策。（2）信息融合的层次结构像素层信息融合特征层信息融合决策层信息融合4.3.2信息融合的方法加权平均遗传算法模糊理论产生式规则人工神经网络统计决策小波变换粗(糙)集理论4.3.3信息融合的实施步骤信息采集↓信息辨识↓相关处理↓融合处理↓建立工作信息库4.3.4信息融合的关键技术相关技术：最近邻法则，最大似然法，最优差别，统计关联，联合统计关联估计技术：最大似然估计法，卡尔曼滤波法，加权最小二乘法，贝叶斯估计法识别技术：物理模型类识别算法，参数分类识别算法，认识模型类识别方法4.3.5案例分析信息融合技术在电力系统中的应用（1）信息融合在电力系统故障检测中应用分析（2）信息融合在状态监测中的应用分析（3）信息融合在继电保护中的应用分析4.4案例推理技术4.1案例推理技术概述4.2案例推理技术的基本原理4.3案例推理技术的内容4.4案例推理技术的实施步骤4.5案例分析4.4.1案例推理技术概述基于案例的推理(case-basedreasoning，CBR)（1）案例推理研究的历史1977起源Schank，Abelson1982开始Schank《DynamicinMemory》20世纪80年代早期第一个基于案例推理应用1983JanetKolodener第一个基于案例推理系统CYRUS1988美国国防部高级研究工程机构……（2）案例推理技术的定义：通过访问知识库中过去同类问题的求解从而获得当前问题解决方案的一种推理方式。（3）案例推理目前的研究方向（4）案例推理的应用领域4.4.2案例推理技术的基本原理4.4.3案例推理技术的内容（1）案例表示（2）相似性（3）案例索引与检索案例索引技术：最近邻法、归纳决策法、知识导引法、三法结合检索方法：模板检索、分层检索、近邻检索、基于知识的检索（4）案例库维护：指实现一些更新案例库组织结构或内容策略4.4.4案例推理技术的实施步骤（1）赋值标引（2）抽取匹配案例（3）更新优先解（4）执行并反馈（5）解释4.4.5案例分析•案例推理技术在银行信贷中的应用（1）开发背景（2）客户评价内容（3）关于信用等级的评定表客户信用得分和信用等级信用等级总分S市场竞争力C流动性L管理水平M其他PAAA70≤S15≤C15≤L15≤M不限AA60≤S＜7012≤C12≤L12≤M不限A50≤S＜609≤C9＜L9≤M不限BBB45≤S＜50不限不限不限不限BB40≤S＜45不限不限不限不限BS＜40不限不限不限不限（4）数据结构（5）详细设计1)建库2)身份验证3)输入靶案例4)规则计算5)案例相似度的计算6)搜索相似案例和修改解决方案7)信用等级和授信控制量的确定授信控制量CL=E*K*V-D8)案例入库的相似性计算（5）相似度差异情况1100%0情况280%0.2情况360%0.4情况3补90%0.1