数据挖掘在商业管理与决策分析之实例应用

数据挖掘在商业管理与决策分析之实例应用决策分析质量与效率之提升数据挖掘之原理概念与功能数据挖掘之建构方法应用案例介绍电子商务之应用（WebMining/WAPMining）建议与结论引言经营环境经营环境日益挑战考虑：成本、利润、质量....管理活动整合：业务运作、管理控制、策略规画信息密集行业全方位/多角化经营资料--企业宝贵之资产信息Mining资料仓储Mining知识(CorporateMemory)(CorporateIntelligence)Database/DataWarehouseTargetdataCleaneddataTransformeddataPattern/model评鉴数据视觉资料挖掘数据转换与简化前置处理与清理样本选取Performancesystem知识发现流程（KnowledgeDiscovery)Knowledge/AdaptedfromIBMCorp./数据挖掘之基本概念•背景–管理信息超载及结构化不足–信息混乱与误用–管理问题复杂度高–实时决策分析日益重视•发展目的–有效利用搜集之市场、客户、供货商、竞争对手及未来趋势信息–使企业经由有效之方法与技术从历史数据里撷取有用的知识数据挖掘原理主要方法•数据库、数据视觉、统计学、机器学习等相关技术•类神经网络、模糊逻辑、基因算法、基因规画、案例库推理法、规则库推理、统计回归等知识表现•决策树、法则、定量数学公式、黑箱公式等Datamining主要功能与技术功能技术适用领域关联性(Association)案例库推理/集合理论/统计菜篮分析时间序列(Sequence)类神经网络/统计利率预测分类(Classification)基因演算/类神经网络/统计/客户评鉴分类模糊逻辑案例推理/决策树公式(Modeling)基因规划/基因演算/回归销售预测群组(Clustering)类神经网络/模糊逻辑/市场区隔基因演算/统计数据挖掘应用现况•Safeway贩卖促销信息（e.g.coupon)•音乐/电影喜好问卷搜集•FidelityInvestment客户服务（cross-selling/walletshare)•FirstUSABank信用卡资料（汽车房贷）•CapitalOne降低贷款风险损失率•FirstUnion预测潜在流失客户•预测侵蚀性的物质对皮肤的影响降低产品(药品或毒品)的发展成本和时间，以及减少动物实验的需求•分析零售商店历史销售记录与位置概述以决定最佳的位置•分析提款机设置地点最佳位置DataMining过程•了解应用领域•建立目标集、选择目标数据集•去除数据杂质、做先置处理•减少数据和数据转换•选择数据挖掘的模式（功能）•选择数据挖掘的算法（技术）•资料挖掘•评估第七步骤的结果•整理发现的知识实例应用•客户评鉴与分类(NeuroFuzzy)•提升邮购回函率(Fuzzy)•股市交易最佳化规则之发掘(GA)•零售商品与客源群聚相关性分析(Neural/Statistic)•民航机重落地分析（RegressionTree)•化妆品偏好分析（ClassificationTree)•窑烧最佳化控制（Neural/GA)•大哥大忠诚客户与游离客户之分析及预测（ClassificationTree)股市交易最佳化规则之发掘•规则一﹕假如6日RSI小于20且6日BIAS小于-4%时则买入并持有12日•规则二﹕假如6日RSI大于80且6日BIAS大于5%时则卖出并放空10日傳統判斷GA買1買2買3買4買5訓練測試應用期間(起)84.1.585.1.484.1.585.1.4應用期間(迄)84.12.3085.8.3184.12.3085.8.31總次數286286286286184286184買6日RSI202030202087入6日股價BIAS-4%-4%-2%-2%-2%-4%規6日成交量BIAS-4%則13日心理線25持有期間1日1日6日23日23日23日23日買投資次數1114532191526入投資率0.3%3.8%15.7%11.2%10.3%5.2%14.1%結正確數0416914817果正確率0.0%36.4%35.6%28.1%73.7%53.3%65.4%每筆報酬率-0.7%-1.4%-1.5%-2.3%3.3%0.4%3.7%總報酬率-0.7%-15.4%-68.4%-72.6%62.9%5.6%95.4%賣1賣2賣3賣4賣5訓練測試賣6日RSI808070808014出6日股價BIAS+4%+4%+2%+2%+2%規6日成交量BIAS+4%2.8%則13日心理線75放空期間1日1日6日12日12日12日12日賣投資次數0225200216102215出投資率0.0%78.7%69.9%75.5%55.4%7.3%2.7%結正確數013111812946153果正確率-58.2%59.0%59.7%45.1%71.4%60.0%每筆報酬率-0.3%-0.9%-1.6%1.0%-2.8%-0.7%總報酬率-60.8%-174.0%-343.4%106.1%-58.4%-3.6%整體報酬-0.7%45.4%105.6%270.8%-43.2%63.9%99.0%賣出類別模擬方式買入類別Feature(I)DataTypeContent性別CharacterF:Female;M:Male婚姻狀況CharacterY:Married;N:Single:U:Unknown子女數目IntegerRange:[1..8]年齡IntegerRange:[1..70]職業別ListRange:[1..10]郵遞區號IntegerThree-digitszipcode儲蓄率IntegerRange:[1..27]購買潛力(predictedoutcome)CharacterY:Yes;N:No客戶購買案例特色0.770.650.50.440%10%20%30%40%50%60%70%80%90%100%LearningRateTestingRateGA-CBRRegression類別性別婚姻狀況子女數目年紀職業別郵遞區號儲蓄率A女Y140354027B男N464754027最具購買潛力客戶C男Y452257026類別性別婚姻狀況子女數目年紀職業別郵遞區號儲蓄率D女Y358212019E男N460212019最不具購買潛力客戶F女N455665023最具（最不具）購買潛力客戶案例組合提升DirectMail回函率寄出信函数（寄出成本）回函数节省目标营销大众营销预定目标SelectedDataforCustomerSegmentationAttributeLogicalDataTypeValuesRepresentationAgeContinuousnumeric18-74Scaled(0.0to1.0)SexCategoricalMale,Female,1,0,0.5UnknownMaritalStatusCategoricalSingle,Married,1,0,0.5Divorced,UnknownHomeownerCategoricalYes,No,Unknown1,0,0.5SportingGoods($)Continuousnumeric$0to$1500Scaled(0.0to1.0)ExerciseEquipment($)Continuousnumeric$0to$2500Scaled(0.0to1.0)HomeAppliances($)Continuousnumeric$0to$5000Scaled(0.0to1.0)Electronics/Music($)Continuousnumeric$0to$2500Scaled(0.0to1.0)Furniture($)Continuousnumeric$0to$5000Scaled(0.0to1.0)TotalAmount($)Continuousnumeric$0to$15000Scaled(0.0to1.0)Segment1(Age43)(42.8%)Segment2(Age42)(24.8%)Segment3(Age52)(20.4%)Segment4(Age26)(11.9%)MarketSegmentationSegmentsize,averageageFigure9.3SegmentationResults:SegmentSizeandAverageAgeSportExerciseApplianceEntertainmentFurniturepopulationSegment3Segmnet1Segmenet4Segment2TargetCategoriesAvg$spent300020002500150010005000MarketSegmentAnalysisSegmentsv..s.PopulationFigure9.4MarketSegmentationAnalysisSafeway案例•面临之挑战–8milliontransactiondata/week(4TMB)–500家店面与600万客户–市场竞争激烈，传统手法技术式微（如更低价位，更多据点，多类产品）–新的竞争关键焦点：掌握客户需要--哪类客户买哪些商品以及购买频率MarketBasketAnalysis(菜篮分析）CokeMilkJuiceEggCokeMilkJuiceEggEggJuiceMilkCoke其它相关应用•发掘背部手术成败关键因素•磁砖颜色配比决策辅助•旋窑燃烧最佳化控制•研磨机钢球配比及置放址决策辅助•电子能量、功率、废气流量、氨气流量组合对氮氧化物及硫氧化物去除效率之模式发展•污染排放量预测模式（DECADESMODEL）•燃烧炉中NG、LPG、与正常空气之配比对燃烧效率及其它有害气体之排放程度之影响其它相关应用(续)•发掘共同基金潜在客户•银行活期存款账户流失率估计•相关产品群组设计（cross-selling）•预测油田生产量•海上石油外溢对生态破坏影响之估计•飞机结构负载医疗案例•DISXPERT-残障职业转介专家系统–区别分析寻找分类要因–数据学习以萃取分类规则–整合专家规则与萃取分类规则•延伸应用–客户分类医疗保险FAMS的功能•侦测(Detection)–利用fuzzymodeling和统计技术来分析群组的行为，针对每个医疗服务提供者评定分数，以反应其遍离行为标准的程度•调查(Investigation)–分析提供者的分数和详细的赔偿数据•解决(Settlement)–详细分析群组行为和赔偿的报告和图表。报告可以用来协商、解决问题和检举不法之事•预防(Prevention)–支持提供者的监视和提供新的工具来评估和教育他们，改善提供者的行为，以防止医疗诈欺和滥用，减低保险公司的损失FAMS的特性•利用案例数据的“retrospectiveanalysis”，分析帐目和医疗提供者的医疗工作，以找出有嫌疑的提供者•依据医疗专业和地理位置来定义群组–例如，你可以着重于LosAngeles的经神科、Hartford的皮肤科、大都会地区的紧急救护服务建置数据剖析应注意事项•在规画DataWarehouse时即应与所需Mining之目标结合•配合数据处理情况DataWarehouse--DataMarts--Cube选择软硬件发展平台•分期或分步骤并以渐进式方法开发•80%心力需投入于DataPreparation步骤•常见之主机平台包括：IBM/390,HP9000,IBMRS-6000,SUN,UNISYS可能遭遇问题之影响因素•企业教育训练之不足•不适当之支持工具•数据之无效性•资料样型（patterns）太多•多变与时间性数据•复杂之数据型态•没有现成之模式可立即使用•数据质量•资料可取得性•专家意见Web/WAPMining•Dynamicproductcatalog•Dynamicbanner