金融数据挖掘和商业数据挖掘

2020/2/161报告大纲研究目的分析工具建模流程结论与建议Q&A2020/2/162研究目的有效地筛选出偿债能力不佳的个人信用卡客户，依此开发出一套信用风险系统，以帮助银行做出正确的核卡决策。这个系统的开发、维护、与更新的成本预期将比银行现有系统的成本低。2020/2/163分析工具MicrosoftSQLSever2005价格自动化以及开发延伸程度目前SPSS跟微软之间是采取合作的态度2020/2/16图表来源：杨自强企业如何应用商业智慧来提升执行力与竞争力4建模流程：CRISP-DMDATAMINING执行阶段商业理解资料理解资料准备建模评估发布资料源DATAMINING处理流程2020/2/16图表来源：杨自强企业如何应用商业智慧来提升执行力与竞争力5微软商业智慧解决方案SSIS分析服务报表服务分析服务(DataMining)资料来源检视表(DataSourceView)整合性服务(SSIS)商业理解资料理解资料准备建模评估发布资料源资料源2020/2/166资料采矿无处不在商业问题Microsoft算法预测类别变量，例如营销响应、顾客流失、违约预测(巴塞尔资本协定IRB)…决策树贝氏机率分类群集类神经网络罗吉斯回归预测连续变量，例如预测销售量、预测客户价值变动、预测金融商品价格波动...回归树时间序列类神经网络预测序列，例如找出网站使用者的点选路径模式、客户缴款行为模式、商品购物顺序时序群集找出产品交叉销售关联性，又称为购物篮分析关联规则决策树找出潜在相似性，例如市场区隔、侦测晶圆瑕疵分配、文件分类、保险浮滥理赔侦测、伪卡侦测群集时序群集2020/2/167商业理解(BusinessUnderstanding)厘清商业问题目前呆帐率是多少？信用卡审核流程？信用卡评分模型=分类模型2020/2/168资料理解(DataUnderstanding)资料来源某银行2000.1.1~2002.6.30的信用卡资料数据内容申请数据文件缴款纪录文件总共有1220个变数，502,333笔原始资料违约户定义缴款期间曾经有逾期60天以上未缴之卡户2020/2/169建模流程图选择2001.4~2001.6原始资料清除遗漏值、异常值数据转换误差抽样训练组测试组建模评估评估2020/2/1610资料准备(DataPreparation)选择合理的建模变量基本数据性别、教育程度、职业别……联合征信中心(JCIC)的资料被查询总家数、延迟月数比率……与银行往来的资料申请卡别类型、有没有使用扣款服务……2020/2/1611资料准备(DataPreparation)选择合理的建模时间时间间隔取为12个月至18个月清除遗漏值、异常值数据转换连续型转成离散型：被查询总家数…合并变项太多之变量：职业别…衍生新的变数2020/2/1612类型变量名称数据类型个人资料教育别类别型(2类)性别旗标型行业别类别型(3类)职称别类别型(3类)工作年资类别型(5类)紧急联络人与正卡关系类别型(4类)与银行往来纪录是否申请结余代偿旗标型扣款账号旗标型金融联合征信中心过去六个月延迟月数比率连续型过去六个月循还月数比率连续型近一年M2次数整数型最近一个月近期是否逾期旗标型负债所得比连续型有效卡张数类别型(3类)被查询总家数类别型(4类)2020/2/1613建模(Modeling)误差抽样(Over-Sampling)将稀有事件透过抽样的方式将其比重提高多的少抽(Reduce)：正常户抽取率0.1违约户抽取率1将资料分成训练组与测试组避免过度学习(Over-fitting)建模方法选择罗吉斯回归、决策树、类神经网络DataMiningModelEvaluation2020/2/1615DataMiningModelEvaluation分类矩阵横轴为预测结果，纵轴为实际结果增益图横轴为名单百分比，纵轴为累积占全体之百分比收益图根据成本以及销售成功利润，并计算出累积利润图散布图针对连续变量，可以利用此功能了解实际值与预测值间之差异性以及预测之趋势变动情形2020/2/1616选择“vTargetMail(dbo)”勾选需要比较之模型DataMiningModelEvaluation说明：在进行模型效益评估前必须先选入数据表，并在模型中勾选要进行评估比较之模型2020/2/1617DataMiningModelEvaluation分类矩阵藉由分类矩阵进一步比较，判别两模型的预测能力，由决策树模型发现，预测正确的资料有7103+5857=12960；而群集分析模型的正确预测数据为5395+5308=10703，也可看出决策树分类结果较群集分析分类结果好2020/2/1618DataMiningModelEvaluation增益图增益图：主要展现在整体的百分上所累积的效益状况2020/2/1619DataMiningModelEvaluation收益图收益图：可根据所设定之固定成本、单位成本以及单位营收加以计算，找出最佳获利点2020/2/1620DataMiningModelEvaluation散布图散布图：了解各模型之预测值、预测趋势以及实际值2020/2/1621评估(Evaluation)增益图（liftchart）2020/2/1622评估(Evaluation)分类矩阵(classificationmatrix)衡量指标Precise=a/a+bRecall=a/a+cAccuracy=a+d/a+b+c+d实际预测违约户正常户违约户ab正常户cd2020/2/1623发布(Deployment)产生预测的违约机率值单一查询整批查询2020/2/1624结论与建议本研究以罗吉斯回归模型预测能力最好本研究目的在于帮助作核卡的决策，另外有一些主题可供继续研究核卡后针对缴费情况的变化，再建构一预测违约模型，以预防违约发生。已违约建立一处理催收顺序的模型2020/2/1625Q&A欢迎提出问题讨论