统计中的数学方法

整理文档很辛苦,赏杯茶钱您下走!

免费阅读已结束,点击下载阅读编辑剩下 ...

阅读已结束,您可以下载文档离线阅读编辑

资源描述

统计中的代数方法张虎2017.08目录1高等代数基础回顾5与处理多变量有关的统计方法2随机向量及其数字特征3统计学中的代数4多元线性回归模型第一章高等代数基础回顾1.1向量与长度1.2矩阵及基本运算1.3行列式1.4逆矩阵、矩阵的秩1.1向量与长度1.1向量与长度1.1向量与长度1.1向量与长度4、向量X在向量Y上的投影•X在Y上的投影•其中单位向量表示X在Y上投影方向•向量X在向量Y上投影的长度为(,)1(,)YYXYXYYYYYLL1YYL=cosXXYXYXYXYLLLLL1.2矩阵及基本运算1.2矩阵及基本运算1.3行列式1.4逆矩阵、矩阵的秩1.4逆矩阵、矩阵的秩1.4逆矩阵、矩阵的秩3、逆矩阵的求法第二章统计学中的代数2.1特征值和特征向量2.2矩阵的迹2.3正定阵、非负定阵和投影阵2.4二次型的极值问题2.5矩阵分块2.6拉直运算与Kronecker积2.7矩阵的微商2.1特征值和特征向量设A是p阶方阵,若对于一个数λ,存在x≠0,使得Ax=λx,则称λ为A的一个特征值或特征根,而称x为A的属于λ的一个特征向量。(A−λI)x=0,x≠0,故|A−λI|=0|A−λI|是λ的p次多项式,称为特征多项式。上式有p个根,记作λ1,λ2,⋯,λp,可以为复数。反过来,若λi是上式的一个根,则存在xi≠0,使得(A−λiI)xi=0一般情况下取xi为单位向量,即满足||xi||=1。2.1特征值和特征向量特征值和特征向量的基本性质:(1)A和A′有相同的特征值。(2)若A和B分别是p×q和q×p矩阵,则AB和BA有相同的非零特征值。证明因为所以pppqqqpppqqqIAIAIABIBIBIIIAIABIBIIBA0000ppqqqppqIABIABIIBAIABIBA002.1特征值和特征向量(3)若A为实对称矩阵,则A的特征值全为实数,p个特征值按大小依次表示为λ1≥λ2≥⋯≥λp。若λi≠λj,则相应的特征向量xi和xj必正交,即xi′xj=0。(4)若A=diag(a11,a22,⋯,app),则a11,a22,⋯,app为A的p个特征值,相应的特征向量分别为e1=(1,0,⋯,0)′,e2=(0,1,0,⋯,0)′,⋯,ep=(0,⋯,0,1)′。(5)即A的行列式等于其特征值的乘积。可见,当且仅当A的特征值均不为零时,A为非退化矩阵;当且仅当A至少有一个特征值为零时,A为退化矩阵。1piiA2.1特征值和特征向量(6)若A为p阶对称矩阵,则存在正交矩阵T及对角矩阵Λ=diag(λ1,λ2,⋯,λp),使得A=TΛT′上式两边右乘T,得AT=TΛ记T=(t1,t2,⋯,tp),于是(At1,At2,⋯,Atp)=(λ1t1,λ2t2,⋯,λptp)Ati=λiti,i=1,2,⋯,p这表明λ1,λ2,⋯,λp是A的p个特征值,而t1,t2,⋯,tp为相应的一组正交单位特征向量。2.1特征值和特征向量谱分解11221210=,,,0ppiiiippttATΛTtttttt2.1特征值和特征向量奇异值分解设A:p×q,rank(A)=k,则存在U=(u1,u2,⋯,uk):p×k,V=(v1,v2,⋯,vk):q×k,Λ=diag(λ1,λ2,⋯,λk),使得其中,u1,u2,⋯,uk是一组p维正交单位向量,v1,v2,⋯,vk是一组q维正交单位向量,λi0,i=1,2,⋯,k。λi称为A的奇异值。AA′=UΛ2U′,A′A=VΛ2V′AA′U=UΛ2,A′AV=VΛ2AA′ui=λi2ui,i=1,2,⋯,kA′Avi=λi2vi,i=1,2,⋯,k1kiiiiAUΛVuv2.2矩阵的迹设A为p阶方阵,则A的迹定义为tr(A)=a11+a22+⋯+app方阵的迹具有下述基本性质:(1)tr(AB)=tr(BA)。特别地,tr(ab′)=b′a。(2)tr(A)=tr(A′)。(3)tr(A+B)=tr(A)+tr(B)。(4)。1kiiiiAUΛVuv2.2矩阵的迹(5)设A=(aij)为p×q矩阵,则(6)设λ1,λ2,⋯,λp为方阵A的特征值,则tr(A)=λ1+λ2+⋯+λp证明|λI−A|=(λ−λ1)(λ−λ2)⋯(λ−λp)比较等式两边λp−1项的系数即得。(7)若A为投影矩阵,则tr(A)=rank(A)211trtrpqijijaAAAA2.3正定阵、非负定阵和投影阵2.3正定阵、非负定阵和投影阵2.3正定阵、非负定阵和投影阵2.3正定阵、非负定阵和投影阵2.4二次型的极值问题(1)柯西-许瓦兹(Cauchy−Schwarz)不等式,设x和y是两个p维向量,则(x′y)2≤(x′x)(y′y)等号成立当且仅当y=cx(或x=cy),这里c为一常数。(2)推广的柯西-许瓦兹不等式设B0,则(x′y)2≤(x′Bx)(y′B−1y)等号成立当且仅当x=cB−1y(或y=cBx),这里c为一常数。2.4二次型的极值问题(3)设A是p阶对称矩阵,其特征值依次是λ1≥λ2≥⋯≥λp,相应的一组正交特征向量是t1,t2,⋯,tp,则(i)(当x=t1时达到)(当x=tp时达到)(ii)(当x=ti时达到),i=2,3,⋯,p11max(max)xxxAxxAxxx01min(min)pxxxAxxAxxx0001,,11,,11max(max)kkikikixtxtxxxAxxAxxx02.4二次型的极值问题(4)设A是p阶对称矩阵,B是p阶正定矩阵,μ1≥μ2≥⋯≥μp是B−1A的p个特征值,相应的一组特征向量是t1,t2,⋯,tp,满足,则(i)(当x=t1时达到)(当x=tp时达到)(ii)(当x=ti时达到),i=2,3,⋯,p0,1ijijptBt1maxxxAxxBx0minpxxAxxBx001,,1maxkikixBtxxAxxBx02.5矩阵分块定义:2.5矩阵分块性质1:性质2:2.5矩阵分块性质3:2.5矩阵分块2.5矩阵分块性质4:2.5矩阵分块2.6拉直运算与Kronecker积定义1:2.6拉直运算与Kronecker积性质1:性质2:性质3:2.6拉直运算与Kronecker积定义2:定义3:2.6拉直运算与Kronecker积性质1:性质2(分配律):性质3(结合律):性质4:2.6拉直运算与Kronecker积性质5:2.6拉直运算与Kronecker积性质6:注:该性质建立了拉直运算和Kronecker积的联系2.6拉直运算与Kronecker积2.7矩阵的微商定义1:2.7矩阵的微商性质1:性质2:性质3:2.7矩阵的微商性质4:性质5:性质6:2.7矩阵的微商定义2:2.7矩阵的微商性质1:性质2:性质3:2.7矩阵的微商性质4:性质5:2.7矩阵的微商定义3:2.7矩阵的微商性质1:性质2:第三章随机向量及其数字特征3.1随机向量3.2随机向量的数字特征3.1随机向量假定所讨论的是多个变量的总体,所研究的数据是同时观测p个指标,又进行了n次观测得到的,把这p个指标表示为,常用向量:表示对同一个体观测的p个变量。若观测了n个个体,则称每一个个体的p个变量为一个样品,而全体n个样品形成一个样本。(1)(2)(),,...pXXX(1)(2)(),,...pXXXX3.1随机向量因此样本资料矩阵可用矩阵语言表示为:若无特别说明,向量均指列向量。111211212222(1)(2)()12,,...pppnnnpnxxxXxxxXXXXXxxxX3.2随机向量的数字特征1、随机向量的X的均值设有p个分量。若存在,我们定义随机向量X的均值为:是一个p维向量,称为均值向量。12,,...pXXXX1,2,iiEXip1122μppEXEXEXEXμ3.2随机向量的数字特征随机矩阵X的均值的性质:(1)设a为常数,则E(aX)=aE(X)(2)设A,B,C为常数矩阵,则E(AXB+C)=AE(X)B+C特别地,对于随机向量x,有E(Ax)=AE(x)(3)设X1,X2,⋯Xn为n个同阶的随机矩阵,则E(X1+X2+⋯+Xn)=E(X1)+E(X2)+⋯+E(Xn)3.2随机向量的数字特征2、随机向量的X的自协方差阵称它为p维随机向量X的协方差阵,称为X的广义方差,是协方差的行列式的值。1121212212,,,,,,,pppppijCOVXXEXEXXEXDXDXCOVXXCOVXXCOVXXDXCOVXXCOVXXCOVXXDX,COVXX3.2随机向量的数字特征自协方差阵的性质:(1)协差阵是非负定阵,即Σ≥0。推论若|Σ|≠0,则Σ0。(2)设A为常数矩阵,b为常数向量,则当p=1时,上述等式就是我们熟知的如下等式:VVAxbAxA2VaxbaVx3.2随机向量的数字特征11121212221211111111Cov,Cov,Cov,Cov,Cov,Cov,Cov,Cov,Cov,Cov,qqpppqqqppppqqxyxyxyxyxyxyxyxyxyExExyEyExExyEyExExyEyExExyEyxy1111,,qqppxExEyEyyEyxExEEExxyy3、的协方差矩阵定义为:1212,,,,,,pqxxxyyyxy和3.2随机向量的数字特征(1)x和y的协方差矩阵与y和x的协差阵互为转置关系,即有(2)若Cov(x,y)=0,则称x和y不相关。(3)两个独立的随机向量必然不相关,但两个不相关的随机向量未必独立。Cov,Cov,xyyx3.2随机向量的数字特征4、相关矩阵随机变量x和y的相关系数定义为:的相关阵定义为:Cov,,xyxyVxVy1212(,,,)(,,,)pqxxxyyyxy和111212122212Cov,Cov,Cov,Cov,Cov,Cov,,Cov,Cov,Cov,qqpppqxyxyxyxyxyxyxyxyxyxy3.2随机向量的数字特征(1)若ρ(x,y)=0,则表明x和y不相关。(2)x=y时的相关阵ρ(x,x)称为x的相关阵,记作R=(ρij),这里ρij=ρ(xi,xj),ρii=1。即(3)R=(ρij)和Σ=(σij)之间有关系式:R=D−1ΣD−112121212111ppppR3.2随机向量的数字特征其中;R和Σ的相应元素之间的关系式为:前述关系式:1122diag,,,ppDijijiijj1212121211111112121222222212111110000110000110000pppppppppppppp

1 / 232
下载文档,编辑使用

©2015-2020 m.777doc.com 三七文档.

备案号:鲁ICP备2024069028号-1 客服联系 QQ:2149211541

×
保存成功