第三讲典型相关分析

典型相关分析-1-第三讲典型相关分析典型相关(CannonicalCorrelation)研究两组变量X1,X2,…,Xp和Y1,Y2,…,Yq间的整体相关关系。为方便起见，用向量：),,,(,),,,(2121qpYYYyXXXx表示这两组变量。第一节总体的典型相关分析1．1第一典型变量和相关系数1．定义x和y分别为p维和q维随机向量：),...,,(,),...,,(2121qpYYYyXXXx常数向量：),...,,(,),...,,(2121qpddddcccc线性组合qkkkpjjjydYdVxcXcU1111,称为x和y的第一典型变量，如果满足：1）D(U1)=1，D(V1)=1；2）对一切可能的c和d，=Corr(U1,V1)最大。2．定义的说明dcydxcCovVUCovxy),(),(11其中的xy是x和y的协方差矩阵。又由：ddydDVDccxcDUDyyxx)()(,)()(11其中的xx和yy分别是x和y的协方差矩阵。从而有：ddccdcVDUDVUCovVUCorryyxxxy)()(),(),(111111典型相关分析-2-设a0，b0是两个任意常数，则有：),()()(),(),(1112121111VUCorrVDbUDaVUabCovbVaUCorr这说明：如果常数向量c和d使得),(11VUCorr最大，则ca和db也一样。这就意味着c和d的不唯一性。定义中的条件1）就是因此而设，在此约束下，唯一性得到保证，并且有：dcxy3．定理设ydVxcU,是x和y的第一典型变量，记：xyxxyxyyyxyyxyxxBA1111,则dc,满足：ddBccA,证明：按定义，c和d由max而来。用Lagrange乘数法，作函数：ddccdcyyxxxy212121＝令0,0dc以下求偏导数：dcdcdcyyyxxxxy21,从而得联立方程组：)2(0)1(021dccdyyyxxxxy将(1)式左乘c，(2)式左乘d，得到：典型相关分析-3-0021ddcdccdcyyyxxxxy由于：1ddccyyxx，因此得：cddcyxxy21,注意到：122)(dccdxyyx，故：),(21VUCorrdcxy于是方程(1)、(2)成为：)4(0)3(0dccdyyyxxxxy在xx和yy为正定的条件下，解出：dcxyxx11代入(4)，得到：ddyyxyxxyx21)(即有：ddxyxxyxyy211)(从而证得：ddB2。类似可证：ccA2。▌4．定理的推论与说明1）推论系数向量c和d分别是矩阵A和B的最大特征值对应的单位特征向量；矩阵A、B具有相同的特征值；A、B最大特征值的算术平方根就是第一典型变量U1、V1的相关系数。2）说明定理的证明用到矩阵xx和yy的逆矩阵。一般来说，协方差矩阵只是非负定矩阵，这时可将逆矩阵改为广义逆，定理同样可证。典型相关分析-4-1．2其他典型变量及其求法1．第i对典型变量的定义随机向量x、y的第i(≥2)对典型变量:ydYdVxcXcUiqkkikiipkkiki11,是满足以下条件的变量：1）D(Ui)=1，D(Vi)=1，即：1,1iyyiixxiddcc；2）1,...,2,1,0),(,0),(ijVVCovUUCovijij。即：1,...,2,1,0,0ijddccyyijxxi；3）在约束1）和2）之下，使得Corr(Ui,Vi)最大。即使得：dcxyi最大。2．第i对典型变量的求法和求第一对典型变量一样，仍旧用Lagrange乘数法。令：iyyiixxiixyiddccdc212121＝1111ijjyyijijjxxijddcc现有：111ijjxxjixxixyiccdc112ijjyyjiyyiyxiddcd令0,0iidc得到联立方程组：典型相关分析-5-11211100ijjyyjiyyiyxijjxxjixxixyddcccd首先讨论i=2的情形。将该方程组的第一、第二式分别左乘以1c和1d，得到：)6(0)5(01112122111121121ddddcdccccdcyyyyyxxxxxxy由不相关的约定：0,02121ddccyyxx同时，1c和1d还满足方程(3)和(4)：00111111dccdyyyxxxxy将上式的第一第二式分别左乘以2c、2d，得：001211212112ddcdccdcyyyxxxxy由不相关约定：01212ddccyyxx，故有：0,01212cddcyxxy此即：Corr(U2,V1)=0，Corr(V2,U1)=0。也就是说：U2与V1、V2与U1也都不相关。有了这一结论，再用1c左乘(5)、1d左乘(6)，便得到：11。因此，(5)、(6)式化为：00222212dccdyyyxxxxy比较方程(1)、(2)，可见2c、2d和1c、1d满足得是同一个方程组。因此，求2c、2d的问题，依然是求矩阵A、B的相同特征值与特征向量。设A、B相同的非零特征值为：),min(,022221qpkk前已取211为第一典型相关系数，现取222为第二典型典型相关分析-6-相关系数，并取矩阵A对应的规格化的特征向量为2c，矩阵B对应的规格化特征向量为2d。于是便有：2222222),(,,VUCorrydVxcU由此可见，对于i=3,4,…,k将有以下结果：(1)对于j=1,2,…,i-1有：Cov(Ui,Vj)=0,Cov(Vi,Uj)=0.(2)所有j、j均为0(j=1,2,…,i-1)，因此)(ic、)(id所满足的方程组与c(1)、d(1)为同一个方程组。这样，求c(i)、d(i)便化为求矩阵A、B的特征值与特征向量。由此得到的典型变量xcUii)()(，ydVii)()(有性质：ijjijiVVCorrUUCorr),(),(ijijiVUCorr),(记),,,(21kUUUu，),,,(21kVVVv。则有：],,,.[),(,)(,)(kkkdiagvuCovIvDIuD第二节样本的典型相关分析2．1样本的第一对典型变量设x、y均为多维正态总体。现有取自这两个总体的容量为np+q的样本数据矩阵：nqnnqqnpnnppYYYYYYYYYYXXXXXXXXXX212222111211212222111211,协方差矩阵xx、yy和xy的极大似然估计分别是：)9())((11)8())((11)7())((11111niiixyxyniiiyyyyniiixxxxyyxxnSyyyynSxxxxnS典型相关分析-7-其中的：qkpjYnYXnXYYYynyXXXxnxniikkniijjqniippii,...,1;,...,11,1),,,(1),,,(111211211由此得到矩阵A与B的估计：)10(1111xyxxyxyyyxyyxyxxSSSSBSSSSA然后求解方程：)11(,22ddBccA2．2样本的其他对典型变量在以上协方差矩阵估计的基础上，参照总体的典型变量推导，和第一对典型变量一样，可以得出相应结论。这里不再详细推导。2．3典型相关系数的显著性检验1．检验目的总体),...,,(21pXXXx和),...,,(21qYYYy如果不相关，即有OyxCovxy),(，则关于x和y的典型相关讨论毫无意义。所以，在做典型相关分析之前，必须对此检验。2．协方差矩阵的相关性检验如果总体),(~qpNyxz，可做以下检验：原假设H0：=O（总体协方差矩阵不相关）。具体检验法这里从略。只有原假设不显著时，典型相关分析才有意义。3．典型相关分析在SPSS上的实现在SPSS的命令菜单里，没有给出典型相关分析的命令。但是系统专门提供的一个宏程序可以完成典型相关分析的运算并输出结果，该程序名为：Canonicalcorrelation.sps，就放在SPSS的安装路径之中。调用方式如下：INCLUDE‘SPSS所在路径\Canonicalcorrelation.sps’典型相关分析-8-CANCORRSET1=第一组变量的列表/SET2＝第二组变量的列表第三节典型相关分析举例例数据data07，该文件是应征人员的各项指标考核记录，最低分为0分，最高分为10分。试将：经验、积极性、抱负、诚实、适应性作为一组变量，推销能力、潜力作为另一组变量。对这两组变量作典型相关分析。