熵值法原理及应用实践

美商天睿信息系统（北京）有限公司2013年3月熵值法原理及应用实践培训目标理解熵值法的原理1.学会使用熵值赋权2.领悟熵值应用实践3.熵值法原理及应用实践2熵值法如何计算权重？3怎样合理应用熵值法？熵值法是做什么用的？142/10/2020TeradataConfidential日常工作中常常需要计算指标权重多元回归赋权法线性回归逻辑回归……52/10/2020TeradataConfidential赋权算法分类对于权重的确定，目前已提出各种不同的方法，可以分为：•往往依靠专家打分和定性分析•精确性不够•主观性太强•一般采用数理统计方法和技术•过于依赖数据，缺乏业务指导•很多方法不能反映指标对目标的影响方向主观赋权客观赋权二者结合使用最有效62/10/2020TeradataConfidential“熵”是一种客观的赋权方法“熵”原本是物理中热力学概念，后来发展为信息论的熵值法理论，在指标赋权方面的应用比较广泛。“熵”是不确定性信息的度量(就好比人的身高、体重，可以用来衡量人的体格)：信息量越大，不确定性就越小，熵也就越小；信息量越小，不确定性越大，熵也越大。熵大越不确定信息量小影响小权重小熵小越确定信息量大影响大权重大72/10/2020TeradataConfidential指标赋权中熵值法的一般原理根据熵的特性，我们可以用熵值来判断某个指标的离散程度：指标熵值越小，离散程度越大，该指标对综合评价的影响（即权重）也就越大。熵值法原理及应用实践2熵值法如何计算权重？3怎样合理应用熵值法？熵值法是做什么用的？192/10/2020TeradataConfidential“熵”的一般计算公式nffHniiiln)ln(1niiiiXXf1其中：，n为总样本数，iX为指标值一个规划求极值问题102/10/2020TeradataConfidential“权”的一般计算公式miijjHHw1)1()1(其中：为第j个指标(维度)的熵，m为指标总数jH112/10/2020TeradataConfidential利用样本数据上感受下熵的变化详见附录1122/10/2020TeradataConfidential熵值法的一般步骤步骤一•确立指标体系步骤二•清洗指标极值步骤三•归一化指标处理步骤四•计算指标“熵”和“权”步骤五•指标加权计算得分132/10/2020TeradataConfidential熵值法的一般步骤之一：确立指标体系案例解说我们用手游认知客户挖掘模型实例来解说熵值法计算指标权重的全过程。下图是手游认知客户挖掘模型的二级指标评价体系，其中各个维度指标对应的权重系数均是通过熵值法计算出来的。下面具体看下模型中“手游认知能力”部分指标权重的计算过程。一级二级142/10/2020TeradataConfidential熵值法的一般步骤之二：清洗指标极值案例解说方法：即剔除各指标中极大或者极小的值，一般用比较合理的上下限值替换这些极值。目的是减少极值数据对该指标的熵的影响；原则：剔除占样本总数不到1-2%但指标值贡献率超过20-30%以上的极值样本样本id游戏流量（K）贡献率………98163580.8%98264010.8%98366310.8%98466350.8%98571930.9%98674320.9%98779931.0%98883851.0%98986911.1%990100381.2%991102631.3%992104171.3%993109361.3%994113071.4%995142541.8%996150731.9%997153261.9%998164802.0%999165422.0%1000615737.6%样本id游戏流量（K）贡献率………98161070.9%98261070.9%98361070.9%98461070.9%98561070.9%98661070.9%98761070.9%98861070.9%98961070.9%99061070.9%99161070.9%99261070.9%99361070.9%99461070.9%99561070.9%99661070.9%99761070.9%99861070.9%99961070.9%100061070.9%去极值后152/10/2020TeradataConfidential熵值法的一般步骤之三：归一化指标处理案例解说方法：指标归一化过程也称之为指标的无量纲化，即将指标实际值转化为不受量纲影响的指标平价值。方法比较多，具体见附录《无纲量化方法一览》；原则：比较常用的是临界值法和Z-score法(更合理，保持了数据的连续性，减少数据信息丢失)，最终将所有指标转化为正区间里面，二者具体处理如下：sxxzii_iiiiixxxxyminmaxmin分箱处理逻辑处理临界值法Z-score法[1,2,3…，100](0,1]162/10/2020TeradataConfidential熵值法的一般步骤之四：计算指标“熵”和“权”案例解说nffHniiiln)ln(1手游历史付费类似，按此公式还可以继续计算出访问次数手游H访问天数手游H和)1()1()1()1(手游访问天数手游访问次数手游历史付费手游历史付费手游历史付费HHHHw同理可以计算出和访问次数手游W访问天数手游W熵权172/10/2020TeradataConfidential熵值法的一般步骤之五：指标加权计算得分案例解说利用以上3个指标的权重和归一化指标值，计算上级指标的分数：手游认知能力得分=0.336*手游历史付费金额+0.212*手游访问次数+0.452*手游访问天数。当然，模型其他部分的底层指标权重和一级指标权重均可以按以上步骤计算得到，并一层层由下往上进行加权，最终得到模型的综合得分。方法：计算综合得分就是指标合成的过程，一般可以采用加法原理和乘法原理；原则：最常用的是加法合成法，其具体处理如下：加法合成法熵值法原理及应用实践2熵值法如何计算权重？3怎样合理应用熵值法？熵值法是做什么用的？1192/10/2020TeradataConfidential熵值法的优点在于其客观、准确和简便优点①熵值法能深刻反映出指标的区分能力，进而确定权重。这种思想和我们的得分评价模型指标选择的机理是一致的；②是一种客观赋权法，有理论依据，相对主观赋权具有较高的可信度和精确度；③算法简单，实践起来比较方便操作，无需借助其他分析软件实现。202/10/2020TeradataConfidential熵值法不是万能赋权法缺点①智能程度不够高。与多元回归和主成份等统计方法不同，它不能考虑指标与指标间横向的影响(如：相关性)，更不能确定指标对目标/得分的影响方向(如：正相关或负相关)；②同其他客观赋权法一样，若无业务经验的指导，权重可能失真；③对样本的依赖性比较大，随着建模样本变化，权重会有一定波动；212/10/2020TeradataConfidential项目中合理应用熵值法的几点个人经验：①必须结合专家打分法才可以发挥熵值法的优势。事实上，指标评价体系建立的基础就是专家经验；②在确定权重前，需要完全确定指标对目标得分的影响方向。非线性的指标要么剔除，要么进行预处理；③熵值法对底层指标比较适用，而对上层指标权重需要重点借助专家经验；④不要怕麻烦，好好处理所有指标的极值问题，对权重的优化有好处；个人经验222/10/2020TeradataConfidential附录1.计算熵值的数据样本2.熵值法的SQL实现脚本3.无纲量方法一览232/10/2020TeradataConfidential附录附录1.计算熵值的数据样本附录2.熵值法的SQL实现脚本242/10/2020TeradataConfidential附录3无量纲方法一览•阀值法(临界值法)1、2、3、4、•Z-score法1、•比重法1、2、折线型曲线型iiixxymaxiiiixxxymaxmaxiiixxxyminiiiiixxxxyminmaxminsxxzii_iiixxy2iiixxy直线型252/10/2020TeradataConfidentialThankyou