厦门大学《应用多元统计分析》第09章-典型相关分析

第九章典型相关分析第一节引言第二节典型相关的基本理论第三节样本典型相关分析第四节典型相关分析应用中的几个问题第五节实例分析与计算实现第一节引言典型相关分析（CanonicalCorrelation）是研究两组变量之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的内在联系。我们知道，在一元统计分析中，用相关系数来衡量两个随机变量之间的线性相关关系；用复相关系数研究一个随机变量和多个随机变量的线性相关关系。然而，这些统计方法在研究两组变量之间的相关关系时却无能为力。比如要研究生理指标与训练指标的关系，居民生活环境与健康状况的关系，人口统计变量（户主年龄、家庭年收入、户主受教育程度）与消费变量（每年去餐馆就餐的频率、每年出外看电影的频率）之间是否具有相关关系？阅读能力变量（阅读速度、阅读才能）与数学运算能力变量（数学运算速度、数学运算才能）是否相关？这些多变量间的相关性如何分析？1936年霍特林（Hotelling）最早就“大学表现”和“入学前成绩”的关系、政府政策变量与经济目标变量的关系等问题进行了研究，提出了典型相关分析技术。之后，Cooley和Hohnes(1971)，Tatsuoka(1971)及Mardia，Kent和Bibby(1979)等人对典型相关分析的应用进行了讨论，Kshirsagar(1972)则从理论上给出了最好的分析。典型相关分析的目的是识别并量化两组变量之间的联系，将两组变量相关关系的分析，转化为一组变量的线性组合与另一组变量线性组合之间的相关关系分析。目前，典型相关分析已被应用于心理学、市场营销等领域。如用于研究个人性格与职业兴趣的关系，市场促销活动与消费者响应之间的关系等问题的分析研究。第二节典型相关的基本理论一典型相关分析的基本思想二典型相关分析原理及方法一、典型相关分析的基本思想典型相关分析由Hotelling提出，其基本思想和主成分分析非常相似。首先在每组变量中找出变量的线性组合，使得两组的线性组合之间具有最大的相关系数。然后选取和最初挑选的这对线性组合不相关的线性组合，使其配对，并选取相关系数最大的一对，如此继续下去，直到两组变量之间的相关性被提取完毕为此。被选出的线性组合配对称为典型变量，它们的相关系数称为典型相关系数。典型相关系数度量了这两组变量之间联系的强度。一般情况，设是两个相互关联的随机向量，分别在两组变量中选取若干有代表性的综合变量Ui、Vi，使得每一个综合变量是原变量的线性组合，即()(1)()(1)()(1)()(1)1122iiiiiPPUaXaXaXaX()(2)()(2)()(2)()(2)1122iiiiiqqVbXbXbXbX(1)(1)(1)(1)12(,,,)pXXXX、(2)(2)(2)(2)12(,,,)qXXXX为了确保典型变量的唯一性，我们只考虑方差为1的(1)X、(2)X的线性函数()(1)iaX与()(2)ibX，求使得它们相关系数达到最大的这一组。若存在常向量(1)a，(1)b，在(1)(1)(1)(2)()()1DDaXbX的条件下，使得(1)(1)(1)(2)(,)aXbX达到最大，则称(1)(1)aX、(1)(2)bX是(1)X、(2)X的第一对典型相关变量。求出第一对典型相关变量之后，可以类似的求出各对之间互不相关的第二对、第三对等典型相关变量。这些典型相关变量就反映了(1)X，(2)X之间的线性相关情况。这里值得注意的是，我们可以通过检验各对典型相关变量相关系数的显著性，来反映每一对综合变量的代表性，如果某一对的相关程度不显著，那么这对变量就不具有代表性，不具有代表性的变量就可以忽略。这样就可以通过对少数典型相关变量的研究，代替原来两组变量之间的相关关系的研究，从而容易抓住问题的本质。二、典型相关分析原理及方法设有两组随机向量，(1)X代表第一组的p个变量，(2)X代表第二组的q个变量，假设p≤q。令(1)(2)(1)(2)11221221Cov(),Cov(),Cov(,)ΣΣΣΣXXXX(1)1(1)2(1)(1)(2)()1(2)1(2)2(2)ppqqXXXXXXXXX()()()()1112Cov(,)2122pppqqpqqΣΣΣΣXX根据典型相关分析的基本思想，要进行两组随机向量间的相关分析，首先要计算出各组变量的线性组合——典型变量，并使其相关系数达到最大。因此，我们设两组变量的线性组合分别为：(1)(1)(1)(1)1122ppUaXaXaXaX(2)(2)(2)(2)1122qqVbXbXbXbX易见(1)(1)(1)11(2)(2)(2)22(1)(2)12121122()()Cov(,)()()(,)Cov(,)Cov(,)Cov(,)Corr(,)()()DUDDVDCovUVUVUVDUDVΣΣΣΣΣΣaXaXXaaabXbXXbbbaXXbababaabb我们希望寻找使相关系数达到最大的向量a与b，由于随机向量乘以常数时并不改变它们的相关系数，所以，为防止结果的重复出现，令1122()1()1DUDVΣΣaabb那么，12121122Corr(,)UVΣΣΣΣababaabb（9.2）问题就成为在（9.1）式的约束条件下，求使12Corr(,)UVΣab，达到最大的系数向量a与b。根据条件极值的求法引入Lagrange乘数，将问题转化为求121122(,)(1)(1)22ΣΣΣababaabb（9.3）的极大值，其中λ，ν是Lagrange乘数。根据求极值的必要条件得1211212200ΣΣΣΣbaaabb（9.4）将（9.4）方程组的二式分别左乘a与b则得1211212200aΣbaΣabΣabΣb即有12112122aΣbaΣabΣabΣb因为2112()bΣaaΣb，所以12aΣb，知为线性组合U，V的相关系数。用代替方程组中的，则（9.4）方程组写为：1211212200ΣbΣaΣaΣb（9.5）假定各随机变量协差阵的逆矩阵存在，则由方程组（9.5）式中的第二式，可得：122211bΣΣa（9.6）将（9.6）式代入方程组（9.5）式的第一式，得11222211110ΣΣΣaΣa即有12122221110ΣΣΣaΣa（9.7）同理，由方程组（9.4）式可得12211112220ΣΣΣbΣb（9.8）用111Σ和122Σ分别左乘（9.7）和（9.8）式，得112111222211122221111200ΣΣΣΣaaΣΣΣΣbb（9.9）即1121112222111222211112()0()0pqΣΣΣΣIaΣΣΣΣIb（9.10）由此可见，1111122221ΣΣΣΣ和1122211112ΣΣΣΣ具有相同的特征根2，a，b则是其相应的特征向量。为了表示方便，令1111122221AΣΣΣΣ1122211112BΣΣΣΣ其中A为p×p阶矩阵，B为q×q阶矩阵。因为12(,)CorrUVaΣb，求(,)CorrUV最大值也就是求的最大值，而求的最大值又转化为求A和B的最大特征根。可以证明，A和B的特征根和特征向量有如下性质：1.A和B具有相同的非零特征根，且所有特征根非负。2.A和B的特征根均在0～1之间。3.设A和B的非零特征根为22212r，()rrankA()rankB，(1)(2)(),,,raaa为A对应于22212,,,r的特征向量，(1)(2)(),,,rbbb为B对应于22212,,,r的特征向量。由于我们所求的是最大特征根及其对应的特征向量，因此，最大特征根21对应的特征向量(1)(1)(1)(1)12(,,,)paaaa和(1)(1)(1)(1)12(,,,)qbbbb就是所求的典型变量的系数向量，即可得(1)(1)(1)(1)(1)(1)(1)(1)11122PPUaXaXaXaX(1)(2)(1)(2)(1)(2)(1)(2)11122qqVbXbXbXbX我们称其为第一对典型变量，最大特征根的平方根1即为两典型变量的相关系数，我们称其为第一典型相关系数。如果第一典型变量不足以代表两组原始变量的信息，则需要求得第二对典型变量，即(2)(1)2(2)(2)2UVaXbX显然，要求第二对典型变量也要满足如下约束条件：(2)(2)211(2)(2)222()1()1DUDVaΣabΣb（9.11）除此之外，为了有效测度两组变量的相关信息，第二对典型变量应不再包含第一对典型变量已包含的信息，因而，需增加约束条件：(1)(1)(2)(1)(1)(2)1211(1)(2)(2)(2)(1)(2)1222(,)(,)0(,)(,)0CovUUCovCovVVCovaXaXaΣabXbXbΣb（9.12）在（9.11）和（9.12）式的约束条件下，可求得其相关系数22(,)CorrUV(2)(2)12aΣb的最大值为上述矩阵A和B的第二大特征根22的平方根2，其对应的单位特征向量(2)a，(2)b就是第二对典型变量的系数向量，称(2)(1)2UaX和2V(2)(2)bX为第二对典型变量，2为第二典型相关系数。类似地，依次可求出第r对典型变量：()(1)rrUaX和()(2)rrVbX，其系数向量()ra和()rb分别为矩阵A和B的第r特征根2r对应的特征向量。r即为第r典型相关系数。综上所述，典型变量和典型相关系数的计算可归结为矩阵A和B特征根及相应特征向量的求解。如果矩阵A和B的秩为r，则共有r对典型变量，第k对(1)kr典型变量的系数向量分别是矩阵A和B第k特征根2k相应的特征向量，典型相关系数为k。典型变量具有如下性质：1.()1,()1(1,2,,)kkDUDVkr(,)0,(,)0()ijijCovUUCovVVij2.0(,1,2,,)(,)0()0()iijijirCovUVijjr第三节样本典型相关分析一样本典型相关变量及典型相关系数的计算二典型相关系数的显著性检验一、样本典型相关变量及典型相关系数的计算在实际分析应用中，总体的协差阵通常是未知的，往往需要从研究的总体中随机抽取一个样本，根据样本估计出总体的协差阵，并在此基础上进行典型相关分析。设(1)(2)XXX服从正态分布(,)pqNμΣ，从该总体中抽取样本容量为n的样本，得到下列数据矩阵：(1)(1)(1)11121(1)(1)(1)21222(1)(1)(1)(1)12ppnnnpXXXXXXXXXX(2)(2)(2)11121(2)(2)(2)21222(2)(2)(2)(2)12qqnnnqXXXXXXXXXX样本均值向量(1)(2)XXX其中(1)(1)11nnXX，(2)(2)11nnXX样本协差阵11122122ˆˆˆˆˆΣΣΣΣΣ其中()()()()11ˆ()(),,1,21nkkllkljjjklnΣXXXX由此可得矩阵A和B的样本估计：1111122221ˆˆˆˆˆAΣΣΣΣ1122211112ˆˆˆˆˆBΣΣΣΣ如前所述，求解ˆA和ˆB的特征根及其相应的特