客户数据挖掘

数据挖掘与客户关系管理案例卓越亚马逊的推荐系统3数据挖掘数据库越来越大有价值的知识可怕的数据数据挖掘背景4数据爆炸，知识贫乏苦恼:淹没在数据中;不能制定合适的决策!数据知识决策模式趋势事实关系模型关联规则序列目标市场资金分配贸易选择在哪儿做广告销售的地理位置金融经济政府POS人口统计生命周期云数据平台——数据挖掘是一个利用各种分析工具在海量数据中发现模型和数据间关系的过程，这些模型和关系可以用来做出预测。●数据挖掘（DataMining）——数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。——数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。数据挖掘数据挖掘的特点——数据挖掘与传统分析方法的区别数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先未知,有效和可实用三个特征：先前未知的信息是指该信息是预先未曾预料到的,既数据挖掘是要发现那些不能靠直觉发现的信息或知识,甚至是违背直觉的信息或知识有效信息是指符合实际情况且具有一定的代表性可实用是指可以指导企业的营销决策数据挖掘的特点•数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识•数据挖掘所得到的信息应具有先未知、有效和可实用三个特征•数据源必须是大量的、真实的、有噪声的•发现的是用户感兴趣的知识•发现的知识要可接受、可理解、可运用•并不要求发现放之四海皆准的知识，仅支持特定的发现问题客户接触客户信息客户数据库统计分析与数据挖掘客户知识发现客户管理知识发现：从数据中深入抽取隐含的、未知的和有潜在用途的信息从商业数据到商业智能各行业电子商务网站算法层商业逻辑层行业应用层商业应用商业模型挖掘算法CRM产品推荐客户细分客户流失客户利润客户响应关联规则、序列模式、分类、聚集、神经元网络、偏差分析…WEB挖掘网站结构优化网页推荐商品推荐。。。基因挖掘基因表达路径分析基因表达相似性分析基因表达共发生分析。。。银行电信零售保险制药生物信息科学研究。。。相关行业数据挖掘的应用Debt10%ofIncomeDebt=0%GoodCreditRisksBadCreditRisksGoodCreditRisksYesYesYesNONONOIncome$40KQQQQII123456factor1factor2factorn神经网络NeuralNetworks聚类分析ClusteringOpenAccn’tAddNewProductDecreaseUsage???Time序列分析SequenceAnalysis决策树DecisionTrees•倾向性分析•客户保留•客户生命周期管理•目标市场•价格弹性分析•客户细分•市场细分•倾向性分析•客户保留•目标市场•欺诈检测关联分析Association•市场组合分析•套装产品分析•目录设计•交叉销售数据挖掘的应用●数据挖掘技术的分类——回顾分析：注重解决过去和现在的问题如：两年来不同地区、人口和产品情况下的各销售部门销售业绩分析——预测分析：在历史信息的基础上预测某些事件和行为如：建立预测模型来描述客户的流失率——分类：根据某种标准将数据库记录分类到许多预先定义好的类别如：信用卡公司将客户记录分为好、中、差三类分类可以产生规则：如果一个客户收入超过5000万元，年龄在45－55岁之间，居住在某地区，那么他的信用等级为好。数据挖掘技术●数据挖掘技术的分类——聚类：根据某些属性将数据库分割为一些子集和簇如：在了解客户的过程中，尝试使用从未使用过的属性分割人群以发现潜在客户的簇——关联：通过考察记录来识别数据间的密切关系关联关系常常表现为规则，常用于超市购物篮分析如：所有包含A和B的记录中有60％同时包含C。——时间序列：用于帮助识别与时间有关的模式如：通过对客户多次购物行为的分析可以发现购物行为在时间上的关系常用于产品目录营销的分析数据挖掘的一般目的就是检测、解释和预测数据中定性的和／或定量的模式数据挖掘技术●数据挖掘方法学——模式数据库中一个事件或事件的结合，这些事件比预期的要经常发生，其实际发生率明显不同于随机情况下的可期望发生率。模式是数据驱动的，一般只反映数据本身——模型对构建事件的源时的历史数据库的描述，并且能够成功地应用于新的数据，以便对缺少的数据作出预测或对期望的数据作出说明。模式可视化数据挖掘技术●数据挖掘方法学——取样根据问题的需要采用随机取样的方法从数据库中抽取数据进行挖掘，有助于迅速发现模式、创建模型数据本身的处理过程需要验证——验证模型模型创建过程需要保证正确模型应用的验证在依据一些历史数据建造模型后，将模型应用于未参与建造模型的其他类似的历史数据，比较其模型输出结果与实际结果。数据挖掘技术●经典方法——统计统计可以通过对类似下列问题的回答获得模式○在我的数据库中存在什么模式○某个事件发生的可能性是什么○那些模式是重要的模式统计的一个重要价值就是它提供了对数据库的高层视图，这种视图提供了有用的信息，但不要求在细节上理解数据库的每一条记录。01020304050607080901季度2季度3季度4季度东部西部北部数据挖掘方法●经典方法——最近邻通过检测与预测对象最接近的对象的状况对预测对象进行预测原理：某一特定对象可能与其他某一或某些对象比其它一些第三对象更接近；相互之间“接近”的对象会有相似的取值根据其中一个对象的取值，预测其最近邻对象的预测值商业应用：文献检索市场篮子分析应用评价：最近邻的数量最近邻的距离决定最近邻预测的可信度数据挖掘方法●现代方法——基础理论有指导的学习(SupervisedLearning)归纳概念分类标准与模型分类有指导的学习的目的：建立分类模型用模型确定新数据实例的类别训练数据（TrainingData）与检验集(TestSet)用于创建模型的数据实例称为训练数据用于检验模型的准确度的数据实例称为检验集数据挖掘方法有指导的学习(SupervisedLearning)患者代码嗓子痛发烧淋巴肿充血头痛诊断结果1YesyesYesYesYes咽炎2NoNoNoYesYes敏感症3YesYesNoYesNo感冒4YesNoYesNoNo咽炎5NoYesNoYesNo感冒6NoNoNoYesNo敏感症7NoNoYesNoNo咽炎8YesNoNoYesYes敏感症9NoYesNoYesYes感冒10yesYesnoYesYes感冒淋巴肿数据挖掘方法患者代码嗓子痛发烧淋巴肿充血头痛诊断结果11NoNoYesYesYes?12YesYesNoNoYes?13NoNoNoNoYes?有指导的学习(SupervisedLearning)患者代码嗓子痛发烧淋巴肿充血头痛诊断结果1YesyesYesYesYes咽炎2NoNoNoYesYes敏感症3YesYesNoYesNo感冒4YesNoYesNoNo咽炎5NoYesNoYesNo感冒6NoNoNoYesNo敏感症7NoNoYesNoNo咽炎8YesNoNoYesYes敏感症9NoYesNoYesYes感冒10yesYesNoYesYes感冒淋巴肿发烧NoNoYesYes咽炎敏感症感冒淋巴肿、发烧是有意义的属性嗓子痛、充血、头痛是无意义的属性数据挖掘方法有指导的学习(SupervisedLearning)淋巴肿发烧NoNoYesYes咽炎敏感症感冒患者代码嗓子痛发烧淋巴肿充血头痛诊断结果11NoNoYesYesYes?12YesYesNoNoYes?13NoNoNoNoYes?未知分类的数据实例（检验集）数据挖掘方法无指导的学习(UnsupervisedLearning)为没有预先定义分类标准的数据建立模型客户ID客户类型交易保证金帐户交易方法交易数／月性别年龄嗜好年收入1005联合NoOnline12.5F30-39网球4－5.9万1013委托保管NoBroke0.5F50-59滑雪8－9.9万1245联合NoOnline3.6M20-29高尔夫2－3.9万2110个人YesBroke22.3M30-39钓鱼4－5.9万1001个人YesOnline5.0M40-49高尔夫6－7.9万ABC投资公司客户表数据挖掘方法无指导的学习(UnsupervisedLearning)区分在线投资者和经纪人投资者的特征是什么一个新客户未开设交易保证金帐户，如何确定其将来是否会开设这种帐户能建立一个预测新投资者月均交易数的模型吗女性和男性投资者有什么不同的特征交易方式交易保证金帐户月均交易数性别数据挖掘问题属性哪些属性相似性决定ABC公司的客户分组属性值的哪些不同之处分隔了客户数据库有指导的学习无指导的学习数据挖掘方法●现代方法——决策树（DecisionTree）决策树是一种有指导学习的数据挖掘方法决策树的组成决策节点、分支、叶子———根节点分支———叶子Debt10%ofIncomeDebt=0%GoodCreditRisksBadCreditRisksGoodCreditRisksYesYesYesNONONOIncome$40K节点决策树的分支过程就是对数据进行分类的过程，利用几个变量（每个变量对应一个问题）来判断数据所属的类别。在分支后，要使不同分支之间数据的差异尽可能大、同一分支内的数据尽量相同。这一分割过程也就是数据的“纯化”过程。数据挖掘方法决策树的算法步骤○假设T为训练实例集○选择一个最能区别T中实例的属性○创建一个决策节点，它的值为所选择的属性○创建该节点的分支，每个分支代表所选属性的一个唯一值○使用分支的值，将数据实例分割为子类○对于步骤5所创建的各个子类：★如果子类中的数据实例满足以下条件，可按此决策树对新数据实例指定类别☆分割中只包含一条数据实例☆分割中所有数据实例的属性都相同☆继续分割得到的改进不明显★如果子类不满足上述条件，则设T’为当前子类数据实例集合，返回步骤2数据挖掘方法决策树的属性选取属性选取标准：最大化反映数据差异，使树的层次和节点数最小患者代码嗓子痛发烧淋巴肿充血头痛诊断结果1YesyesYesYesYes咽炎2NoNoNoYesYes敏感症3YesYesNoYesNo感冒4YesNoYesNoNo咽炎5NoYesNoYesNo感冒6NoNoNoYesNo敏感症7NoNoYesNoNo咽炎8YesNoNoYesYes敏感症9NoYesNoYesYes感冒10yesYesnoYesYes感冒淋巴肿发烧NoNoYesYes咽炎敏感症感冒数据挖掘方法患者代码嗓子痛发烧淋巴肿充血头痛诊断结果1YesyesYesYesYes咽炎2NoNoNoYesYes敏感症3YesYesNoYesNo感冒4YesNoYesNoNo咽炎5NoYesNoYesNo感冒6NoNoNoYesNo敏感症7NoNoYesNoNo咽炎8YesNoNoYesYes敏感症9NoYesNoYesYes感冒10yesYesnoYesYes感冒淋巴肿发烧NoNoYesYes敏感症敏感症咽炎NoYes头痛淋巴肿感冒发烧淋巴肿NoYes咽炎NoYes数据挖掘方法决策树的属性选取属性选取标准：最大化反映数据差异，使树的层次和节点数最小信用卡促销数据库收入段寿险促销信用卡保险性别年龄4-5万NoNoM453-4万YesNoF404-5万NoNoM423-4万YesYesM435-6万YesNoF382-3万NoNoF553-4万YesYesM352-3万NoNoM273-4万NoNoF433-4万YesNoF414-5万YesNoM432-3万YesNoF295-6万YesNoF394-5万NoNoM552-3万YesYesF19○选取收入段为根节点○选取寿险促销为输出属性○沿着每个分支有两个类，选取最频繁出现的类收入段2Yes2No4Yes1No3No1Yes2Yes2—3万3—4万4—5万5—6万○训练集分类的正确性为1