关联规则简介与Apriori算法

关联规则（AssociationRules）反映一个事物与其他事物之间的相互依存性和关联性。如果两个或者多个事物之间存在一定的关联关系，那么，其中一个事物就能够通过其他事物预测到。首先被Agrawal,ImielinskiandSwami在1993年的SIGMOD会议上提出.关联规则挖掘是数据挖掘中最活跃的研究方法之一。典型的关联规则发现问题是对超市中的购物篮数据（MarketBasket）进行分析。通过发现顾客放入购物篮中的不同商品之间的关系来分析顾客的购买习惯。关联规则“尿布与啤酒”的故事。美国的沃尔玛超市对一年多的原始交易数据进行了详细的分析，得到一个意外发现：与尿布一起被购买最多的商品竟然是啤酒。借助于数据仓库和关联规则，商家发现了这个隐藏在背后的事实：美国的妇女们经常会嘱咐她们的丈夫下班以后要为孩子买尿布，而30%～40%的丈夫在买完尿布之后又要顺便购买自己爱喝的啤酒。有了这个发现后，超市调整了货架的设置，把尿布和啤酒摆放在一起销售，从而大大增加了销售额。案例70%购买了牛奶的顾客将倾向于同时购买面包。某网上书店向用户推荐相关书籍。案例在买了一台PC之后下一步会购买？案例在保险业务方面，如果出现了不常见的索赔要求组合，则可能为欺诈，需要作进一步的调查；在医疗方面，可找出可能的治疗组合；在银行方面，对顾客进行分析，可以推荐感兴趣的服务等等。案例什么是规则？规则形如如果…那么…(If…Then…),前者为条件，后者为结果。例如一个顾客，如果买了可乐，那么他也会购买果汁。如何来度量一个规则是否够好？有两个量，置信度(Confidence)和支持度(Support)。假设有如下表的购买记录。关联规则基本模型关联规则基本模型_置信度置信度表示了这条规则有多大程度上值得可信。设条件的项的集合为A,结果的集合为B。置信度计算在A中，同时也含有B的概率(即：ifA,thenB的概率)。即Confidence(AB)=P(B|A)。例如计算“如果Orange则Coke”的置信度。由于在含有“橙汁”的4条交易中，仅有2条交易含有“可乐”。其置信度为0.5。关联规则基本模型_支持度支持度计算在所有的交易集中，既有A又有B的概率。例如在5条记录中，既有橙汁又有可乐的记录有2条。则此条规则的支持度为2/5=0.4，即Support(AB)=P(AB)。现在这条规则可表述为，如果一个顾客购买了橙汁,则有50%(置信度)的可能购买可乐。而这样的情况（即买了橙汁会再买可乐）会有40%(支持度)的可能发生。关联规则的相关概念定义1项目与项集设I={i1,i2,…,im}是m个不同项目的集合，每个ik(k=1，2，……，m)称为一个项目(Item)。项目的集合I称为项目集合(Itemset)，简称为项集。其元素个数称为项集的长度，长度为k的项集称为k-项集(k-Itemset)。关联规则的相关概念定义2交易每笔交易T(Transaction)是项集I上的一个子集，即TI，但通常TI。对应每一个交易有一个唯一的标识——交易号，记作TID交易的全体构成了交易数据库D，或称交易记录集D，简称交易集D。交易集D中包含交易的个数记为|D|。关联规则的相关概念定义3项集的支持度对于项集X，XI，设定count(XT)为交易集D中包含X的交易的数量项集X的支持度support(X)就是项集X出现的概率，从而描述了X的重要性。|D|T)count(Xsupport(X)关联规则的相关概念定义4项集的最小支持度与频繁集发现关联规则要求项集必须满足的最小支持阈值，称为项集的最小支持度(MinimumSupport)，记为supmin。支持度大于或等于supmin的项集称为频繁项集，简称频繁集，反之则称为非频繁集。通常k-项集如果满足supmin，称为k-频繁集，记作Lk。关联规则的相关概念定义5关联规则关联规则(AssociationRule)可以表示为一个蕴含式：R：XY其中：XI，YI，并且XY=。例如：R：牛奶→面包关联规则的相关概念定义6关联规则的支持度对于关联规则R：XY，其中XI，YI，并且XY=。规则R的的支持度(Support)是交易集中同时包含X和Y的交易数与所有交易数之比。|D|Y)count(XY)support(X关联规则的相关概念定义7关联规则的置信度对于关联规则R：XY，其中XI,YI，并且XY=。规则R的置信度(Confidence)是指包含X和Y的交易数与包含X的交易数之比support(X)Y)support(XY)(Xconfidence一般来说，只有支持度和置信度均较高的关联规则才是用户感兴趣的、有用的关联规则。关联规则的相关概念定义8关联规则的最小支持度和最小置信度关联规则的最小支持度也就是衡量频繁集的最小支持度(MinimumSupport)，记为supmin，它用于衡量规则需要满足的最低重要性。关联规则的最小置信度(MinimumConfidence)记为confmin，它表示关联规则需要满足的最低可靠性。关联规则的相关概念定义9强关联规则如果规则R:XY满足support(XY)supmin且confidence(XY)confmin，称关联规则XY为强关联规则，否则称关联规则XY为弱关联规则。在挖掘关联规则时，产生的关联规则要经过supmin和confmin的衡量，筛选出来的强关联规则才能用于指导商家的决策。关联规则挖掘举例对于规则AC：支持度=support({A,C})=50%置信度=support({A,C})/support({A})=66.6%交易ID购买商品2000A,B,C1000A,C4000A,D5000B,E,F频繁项集支持度{A}75%{B}50%{C}50%{A,C}50%假设最小值支持度为50%，最小置信度为50%规则AC满足最小支持度和最小置信度，所以它是强关联规则关联规则挖掘的步骤关联规则挖掘是一个两步的过程：找出所有频繁项集由频繁项集产生强关联规则，这些规则必须大于或者等于最小支持度和最小置信度大于或者等于最小支持度的项集Apriori算法Apriori算法是一种经典的生成布尔型关联规则的频繁项集挖掘算法。Apriori算法将发现关联规则的过程分为两个步骤：通过迭代，检索出事务数据库中的所有频繁项集，即支持度不低于用户设定的阈值的项集；利用频繁项集构造出满足用户最小置信度的规则。挖掘或识别出所有频繁项集是该算法的核心，占整个计算量的大部分。Apriori算法的重要性质性质1：频繁项集的子集必为频繁项集性质2：非频繁项集的超集一定是非频繁的假设项集{A,C}是频繁项集，则{A}和{C}也为频繁项集假设项集{D}不是频繁项集，则{A,D}和{C,D}也不是频繁项集Apriori算法举例现有A、B、C、D、E五种商品的交易记录表，找出所有频繁项集，假设最小支持度=50%,最小置信度=50%交易号商品代码T1A、C、DT2B、C、ET3A、B、C、ET4B、EApriori算法举例_产生频繁项集项集支持度｛A｝50%｛B｝75%{C}75%｛D｝25%｛E｝75%C1K=1支持度50｛A｝50%｛B｝75%{C}75%｛E｝75%L1项集支持度｛A,B｝25%｛A,C｝50%{A,E}25%｛B,C｝50%｛B,E｝75%｛C,E｝50%C2K=2支持度50支持度50｛A,C｝50%｛B,C｝50%｛B,E｝75%｛C,E｝50%L2Apriori算法举例_产生频繁项集｛A,C｝50%｛B,C｝50%｛B,E｝75%｛C,E｝50%L2｛A,C｝+{B,C}{A,B,C}｛A,C｝+{B,E}超过三项｛A,C｝+{C,E}{A,C，E}｛B,C｝+{B,E}{B,C，E}｛B,C｝+{C,E}{B,C，E}｛B,E｝+{C,E}{B,C，E}从K2中求可用来计算的的三项集{A,B,C}25%{A,C，E}25%50%{B,C，E}C3支持度50支持度50L3{B,C，E}50%交易号商品代码T1A、C、DT2B、C、ET3A、B、C、ET4B、EApriori算法举例_产生关联规则对于频繁项集{B,C,E},它的非空子集有{B}、{C}、{E}、{B,C}、{B,E}、{C,E}。以下就是据此获得的关联规则及其置信度。规则置信度ConfidenceBCE66.7%CBE66.7%EBC66.7%CEB1BEC66.7%BCE1置信度≥50%(最小置信度)，都是强关联规则Apriori算法弊端需要多次扫描数据表如果频繁集最多包含10个项，那么就需要扫描交易数据表10遍，这需要很大的I/O负载产生大量频繁集若有100个项目，可能产生候选项数目1210030100100100...1.27*10CCCTheendThankyou~