统计中的数学方法

统计中的代数方法张虎2017.08目录1高等代数基础回顾5与处理多变量有关的统计方法2随机向量及其数字特征3统计学中的代数4多元线性回归模型第一章高等代数基础回顾1.1向量与长度1.2矩阵及基本运算1.3行列式1.4逆矩阵、矩阵的秩1.1向量与长度1.1向量与长度1.1向量与长度1.1向量与长度4、向量X在向量Y上的投影•X在Y上的投影•其中单位向量表示X在Y上投影方向•向量X在向量Y上投影的长度为(,)1(,)YYXYXYYYYYLL1YYL=cosXXYXYXYXYLLLLL1.2矩阵及基本运算1.2矩阵及基本运算1.3行列式1.4逆矩阵、矩阵的秩1.4逆矩阵、矩阵的秩1.4逆矩阵、矩阵的秩3、逆矩阵的求法第二章统计学中的代数2.1特征值和特征向量2.2矩阵的迹2.3正定阵、非负定阵和投影阵2.4二次型的极值问题2.5矩阵分块2.6拉直运算与Kronecker积2.7矩阵的微商2.1特征值和特征向量设A是p阶方阵，若对于一个数λ，存在x≠0，使得Ax=λx，则称λ为A的一个特征值或特征根，而称x为A的属于λ的一个特征向量。(A−λI)x=0，x≠0，故|A−λI|=0|A−λI|是λ的p次多项式，称为特征多项式。上式有p个根，记作λ1,λ2,⋯,λp，可以为复数。反过来，若λi是上式的一个根，则存在xi≠0，使得(A−λiI)xi=0一般情况下取xi为单位向量，即满足||xi||=1。2.1特征值和特征向量特征值和特征向量的基本性质：(1)A和A′有相同的特征值。(2)若A和B分别是p×q和q×p矩阵，则AB和BA有相同的非零特征值。证明因为所以pppqqqpppqqqIAIAIABIBIBIIIAIABIBIIBA0000ppqqqppqIABIABIIBAIABIBA002.1特征值和特征向量(3)若A为实对称矩阵，则A的特征值全为实数，p个特征值按大小依次表示为λ1≥λ2≥⋯≥λp。若λi≠λj，则相应的特征向量xi和xj必正交，即xi′xj=0。(4)若A=diag(a11,a22,⋯,app)，则a11,a22,⋯,app为A的p个特征值，相应的特征向量分别为e1=(1,0,⋯,0)′，e2=(0,1,0,⋯,0)′，⋯，ep=(0,⋯,0,1)′。(5)即A的行列式等于其特征值的乘积。可见，当且仅当A的特征值均不为零时，A为非退化矩阵；当且仅当A至少有一个特征值为零时，A为退化矩阵。1piiA2.1特征值和特征向量(6)若A为p阶对称矩阵，则存在正交矩阵T及对角矩阵Λ=diag(λ1,λ2,⋯,λp)，使得A=TΛT′上式两边右乘T，得AT=TΛ记T=(t1,t2,⋯,tp)，于是(At1,At2,⋯,Atp)=(λ1t1,λ2t2,⋯,λptp)Ati=λiti，i=1,2,⋯,p这表明λ1,λ2,⋯,λp是A的p个特征值，而t1,t2,⋯,tp为相应的一组正交单位特征向量。2.1特征值和特征向量谱分解11221210=,,,0ppiiiippttATΛTtttttt2.1特征值和特征向量奇异值分解设A：p×q，rank(A)=k，则存在U=(u1,u2,⋯,uk)：p×k，V=(v1,v2,⋯,vk)：q×k，Λ=diag(λ1,λ2,⋯,λk)，使得其中，u1,u2,⋯,uk是一组p维正交单位向量，v1,v2,⋯,vk是一组q维正交单位向量，λi0,i=1,2,⋯,k。λi称为A的奇异值。AA′=UΛ2U′，A′A=VΛ2V′AA′U=UΛ2，A′AV=VΛ2AA′ui=λi2ui，i=1,2,⋯,kA′Avi=λi2vi，i=1,2,⋯,k1kiiiiAUΛVuv2.2矩阵的迹设A为p阶方阵，则A的迹定义为tr(A)=a11+a22+⋯+app方阵的迹具有下述基本性质：(1)tr(AB)=tr(BA)。特别地，tr(ab′)=b′a。(2)tr(A)=tr(A′)。(3)tr(A+B)=tr(A)+tr(B)。(4)。1kiiiiAUΛVuv2.2矩阵的迹(5)设A=(aij)为p×q矩阵，则(6)设λ1,λ2,⋯,λp为方阵A的特征值，则tr(A)=λ1+λ2+⋯+λp证明|λI−A|=(λ−λ1)(λ−λ2)⋯(λ−λp)比较等式两边λp−1项的系数即得。(7)若A为投影矩阵，则tr(A)=rank(A)211trtrpqijijaAAAA2.3正定阵、非负定阵和投影阵2.3正定阵、非负定阵和投影阵2.3正定阵、非负定阵和投影阵2.3正定阵、非负定阵和投影阵2.4二次型的极值问题(1)柯西-许瓦兹(Cauchy−Schwarz)不等式，设x和y是两个p维向量，则(x′y)2≤(x′x)(y′y)等号成立当且仅当y=cx（或x=cy），这里c为一常数。(2)推广的柯西-许瓦兹不等式设B0，则(x′y)2≤(x′Bx)(y′B−1y)等号成立当且仅当x=cB−1y（或y=cBx），这里c为一常数。2.4二次型的极值问题(3)设A是p阶对称矩阵，其特征值依次是λ1≥λ2≥⋯≥λp，相应的一组正交特征向量是t1,t2,⋯,tp，则(i)（当x=t1时达到）（当x=tp时达到）(ii)（当x=ti时达到）,i=2,3,⋯,p11max(max)xxxAxxAxxx01min(min)pxxxAxxAxxx0001,,11,,11max(max)kkikikixtxtxxxAxxAxxx02.4二次型的极值问题(4)设A是p阶对称矩阵，B是p阶正定矩阵，μ1≥μ2≥⋯≥μp是B−1A的p个特征值，相应的一组特征向量是t1,t2,⋯,tp，满足，则(i)（当x=t1时达到）（当x=tp时达到）(ii)（当x=ti时达到）,i=2,3,⋯,p0,1ijijptBt1maxxxAxxBx0minpxxAxxBx001,,1maxkikixBtxxAxxBx02.5矩阵分块定义：2.5矩阵分块性质1：性质2：2.5矩阵分块性质3：2.5矩阵分块2.5矩阵分块性质4：2.5矩阵分块2.6拉直运算与Kronecker积定义1：2.6拉直运算与Kronecker积性质1：性质2：性质3：2.6拉直运算与Kronecker积定义2：定义3：2.6拉直运算与Kronecker积性质1：性质2（分配律）：性质3（结合律）：性质4：2.6拉直运算与Kronecker积性质5：2.6拉直运算与Kronecker积性质6：注：该性质建立了拉直运算和Kronecker积的联系2.6拉直运算与Kronecker积2.7矩阵的微商定义1：2.7矩阵的微商性质1：性质2：性质3：2.7矩阵的微商性质4：性质5：性质6：2.7矩阵的微商定义2：2.7矩阵的微商性质1：性质2：性质3：2.7矩阵的微商性质4：性质5：2.7矩阵的微商定义3：2.7矩阵的微商性质1：性质2：第三章随机向量及其数字特征3.1随机向量3.2随机向量的数字特征3.1随机向量假定所讨论的是多个变量的总体，所研究的数据是同时观测p个指标，又进行了n次观测得到的，把这p个指标表示为,常用向量：表示对同一个体观测的p个变量。若观测了n个个体，则称每一个个体的p个变量为一个样品，而全体n个样品形成一个样本。(1)(2)(),,...pXXX(1)(2)(),,...pXXXX3.1随机向量因此样本资料矩阵可用矩阵语言表示为：若无特别说明，向量均指列向量。111211212222(1)(2)()12,,...pppnnnpnxxxXxxxXXXXXxxxX3.2随机向量的数字特征1、随机向量的X的均值设有p个分量。若存在，我们定义随机向量X的均值为：是一个p维向量，称为均值向量。12,,...pXXXX1,2,iiEXip1122μppEXEXEXEXμ3.2随机向量的数字特征随机矩阵X的均值的性质：(1)设a为常数，则E(aX)=aE(X)(2)设A,B,C为常数矩阵，则E(AXB+C)=AE(X)B+C特别地，对于随机向量x，有E(Ax)=AE(x)(3)设X1,X2,⋯Xn为n个同阶的随机矩阵，则E(X1+X2+⋯+Xn)=E(X1)+E(X2)+⋯+E(Xn)3.2随机向量的数字特征2、随机向量的X的自协方差阵称它为p维随机向量X的协方差阵，称为X的广义方差，是协方差的行列式的值。1121212212,,,,,,,pppppijCOVXXEXEXXEXDXDXCOVXXCOVXXCOVXXDXCOVXXCOVXXCOVXXDX,COVXX3.2随机向量的数字特征自协方差阵的性质：（1）协差阵是非负定阵，即Σ≥0。推论若|Σ|≠0，则Σ0。（2）设A为常数矩阵，b为常数向量，则当p=1时，上述等式就是我们熟知的如下等式：VVAxbAxA2VaxbaVx3.2随机向量的数字特征11121212221211111111Cov,Cov,Cov,Cov,Cov,Cov,Cov,Cov,Cov,Cov,qqpppqqqppppqqxyxyxyxyxyxyxyxyxyExExyEyExExyEyExExyEyExExyEyxy1111,,qqppxExEyEyyEyxExEEExxyy3、的协方差矩阵定义为：1212,,,,,,pqxxxyyyxy和3.2随机向量的数字特征（1）x和y的协方差矩阵与y和x的协差阵互为转置关系，即有（2）若Cov(x,y)=0，则称x和y不相关。（3）两个独立的随机向量必然不相关，但两个不相关的随机向量未必独立。Cov,Cov,xyyx3.2随机向量的数字特征4、相关矩阵随机变量x和y的相关系数定义为：的相关阵定义为：Cov,,xyxyVxVy1212(,,,)(,,,)pqxxxyyyxy和111212122212Cov,Cov,Cov,Cov,Cov,Cov,,Cov,Cov,Cov,qqpppqxyxyxyxyxyxyxyxyxyxy3.2随机向量的数字特征（1）若ρ(x,y)=0，则表明x和y不相关。（2）x=y时的相关阵ρ(x,x)称为x的相关阵，记作R=(ρij)，这里ρij=ρ(xi,xj),ρii=1。即（3）R=(ρij)和Σ=(σij)之间有关系式：R=D−1ΣD−112121212111ppppR3.2随机向量的数字特征其中；R和Σ的相应元素之间的关系式为：前述关系式：1122diag,,,ppDijijiijj1212121211111112121222222212111110000110000110000pppppppppppppp