第六章 广义逆矩阵

第六章广义逆矩阵知识要点投影矩阵广义逆矩阵相容方程组的最小范数解矛盾方程组的最小二乘解矛盾方程组的最小范数最小二乘解总体最小二乘技术§6.1投影矩阵一、投影算子与投影矩阵设L和M都是Cn的子空间，且LM=Cn．于是任意xCn都可唯一分解为x=y+z，yL，zM，称y是x沿着M到L的投影．1.定义将任意xCn变为沿着M到L的投影的变换称为沿着M到L的投影算子，记为PL,M，即PL,Mx=y。显然，R(PL,M)=L，N(PL,M)=M．投影算子PL,M是一个线性算子。2.定义投影算子PL,M在Cn的基e1,…,en下的矩阵称为投影矩阵．记为PL,M。3.幂等矩阵：A2=A引理设ACn×n是幂等矩阵，则N(A)=R(I-A)。证：A2=AA(I-A)=O对任意xR(I-A)即x=(I-A)y，yCn，必有Ax=0。故R(I-A)N(A)dimR(I-A)dimN(A)=n-dimR(A)即rank(I-A)n-rankA。考虑到I=A+(I-A)nrankA+rank(I-A)有rank(I-A)=n-rankA，使得dimR(I-A)=n-dimR(A)=dimN(A)，即得N(A)=R(I-A)。4.定理：P为投影矩阵的充要条件是P为幂等矩阵证：设P=PL,M为投影矩阵，则对任意xCn有P2L,Mx=PL,M(PL,Mx)=PL,My=y=PL,Mx故P为幂等矩阵。反之，设P为幂等矩阵，则：对任意xCn有x=x-Px+Px=(I-P)x+Px，其中(I-P)xN(P)，PxR(P)，使得Cn=N(P)+R(P)。设zN(P)R(P)，由于N(P)=R(I-P)故存在u，vCn使得z=Pu=P2u=P(I-P)vz=Pu=(I-P)v=0故N(P)R(P)={0}。这样Cn=N(P)R(P)，这意味着对任意xCn，Px是x沿着N(P)到R(P)的投影，故而P=PR(P),N(P)5.投影矩阵PL,M的构造方法设dimL=r，则dimM=n-r，在子空间L和M中分别取基底X=(x1,…,xr)和Y=(y1,…,yn-r)，于是有PL,M[X,Y]=[X,O]。由于(X,Y)为Cn的一个基底，故[X,Y]可逆，于是得PL,M=[X,O][X,Y]-1例：设L是由向量[1,0]T张成的子空间，M是由向量[1,－1]T张成的子空间，则可求得平面上沿着M到L的投影矩阵为PL,M=110110001101111000100二、正交投影算子与正交投影矩阵1.定义：设L是Cn的子空间，则称沿着L到L的投影算子PL,L为正交投影算子，简记为PL；正交投影算子在Cn的基e1,…,en下的矩阵称为正交投影矩阵，记为PL．2.定理矩阵P为正交投影矩阵的充要条件是P为幂等Hermite矩阵．证：若P=PL是正交投影矩陈,由前述定理知，它是幂等矩阵。把任意xCn分解为x=y+z，yL，zL，则PLx=yL，(I-PL)x=zL使得PLx正交于(I-PL)x，即xHPLH(I-PL)x=0，x的任意性使得PLH(I-PL)=O，即PLH=PLHPLPLH=PLHPL=(PLHPL)H=(PLH)H=PL即PH=P，P为幂等Hermite矩阵。反之，设P为幂等Hermite矩阵，由幂等性知P=PR(P),N(P)，N(P)=R(I-P)对任意Px与(I-P)y，有Px,(I-P)y=xHPH(I-P)y=xHP(I-P)y=xH(P-P2)y=0即得：R(P)N(P)。因此P为正交投影矩阵。3.正交投影矩阵PL的构造方法设dimL=r，则dimL=n-r。在子空间L和L中分别取基底X=(x1,…,xr)和Y=(y1,…,yn-r)满足XHY=Or(n--r)，于是说明：令，则有两边左乘XH得即A=(XHX)-1XH，同理可得B=(YHY)-1YHHHHHLYYYXXXOXYXOXP111)()(],[],][,[HHXXXX1)(BAYX1],[YBXABAYXYXYXI],[],][,[1AXXYBXXAXXHHHH)(例：设L是由向量[1,2,0]T和[0,1,1]T张成的子空间，则可求得正交投影矩阵为11105222121,222560122212516215HHHHLXXXXXPXXXX三、正交投影原理及其应用1.正交投影原理令M是向量空间H的子空间，如果对于H中的向量x，在M中有一向量x，使得x-x正交于M中的所有向量y，即(x-x,y)=0，则||x-x||||x-y||对于所有向量yM都成立，并且等号仅当y=x时成立。证：||x-y||2=||x-x+x-y||2=||x-x||2+2(x-x,x-y)+||x-y||2，故(x-x,x-y)=0使得||x-x||2||x-x||2+||x-y||2=||x-y||2并且等号仅当y=x时成立。2.x=PMx为x在M的投影，x-PMx为x在M的投影。3.W-H方程：使用线性滤波d=(h,x)从观测随机向量x估计希望信号d，则由(d-(h,x),x)=0有W-H方程rdx=Rxxh，其中互相关向量rdx=(d,x)=E(d,x)，自相关矩阵Rxx=E(xxT)。四.子空间分析1.观测空间：观测x=信号s+噪声n，其中s与n不相关，观测矩阵X=信号矩阵S+噪声矩阵N=(x1,…,xn)，观测空间Span(X)=Span{x1,…,xn}2.信号子空间和噪声子空间解：RX=E(XTX)=RS+RN，其中假设噪声独立同分布使得RN=E(NTN)=n2I和RS=E(STS)秩r使得RS=USSUSTRX=USSUST+n2I=US(S+n2I)UST=UXXUXTUX=US和X=S+n2I,令UX=[u1,…,un]，BS=[u1,…,ur]，BN=[ur+1,…,un]，则称Span(BS)和Span(BN)分别为信号子空间和噪声子空间。3.{s1+n2,…,sr+n2}为主特征值，n2为次特征值4.信号子空间投影矩阵PS=BSBST，噪声子空间投影矩阵PN=BNBNT=I-PS=PS为信号子空间正交投影矩阵。5.子空间分析法应用例：现代谱估计的MUSIC算法。设信号向量是r个不相干的复正弦的叠加，即其中A=[a(1),…,a(r)]，a(k)=[1,…,exp(j(n-1))]T为频率分量向量，s(t)=[s1(t),…,sr(t)]T为随机信号向量，具有零均值其协方差阵为RS=E(s(t)s(t)H)，n(t)=[n1(t),…,nn(t)]T为零均值方差为n2的独立同分布高斯白噪声。RX=BS(S+n2I)BSH+n2BNBNH=ARSAH+n2IRXBN=n2BN=ARSAHBN+n2BNARSAHBN=OAHBN=O即BNHA=O，也即BNHa()=0，=k,k=1,…,rrkkkttatstx1)()()()()(nAs于是有基于噪声子空间的功率谱估计P()=1/||BNHa()||2，所有的。其r个峰值给出了r个复正弦频率。由于BNBNT=I-BSBSH，其中RX-n2I=BSSBSH，于是有基于信号子空间的功率谱估计P()=1/(a()H(I-BSBSH)a())。用哪个取决于哪个子空间有较小的维数。§6.2广义逆矩阵定义及其性质定义：设矩阵ACmn，若矩阵XCmn满足如下四个方程1.AXA=A2.XAX=X3.(AX)H=AX4.(XA)H=XA中的一个或几个，则称为矩阵A的广义逆；若四个方程全部满足，则称为矩阵A的Moore-Penrose逆，记为A+。定理一：矩阵ACmn的广义逆A+存在且唯一。证明：先证存在性。设矩阵A的满秩分解为A=BC，定义A+=CH(CCH)-1(BHB)-1BH则A+满足定义中的四个方程。下面证唯一性。设矩阵X与Y都满足四个方程，则X=XAX=X(AX)H=XXHAH=XXHAHYHAH=X(AX)H(AY)H=X(AXA)Y=XAYY=YAY=(YA)HY=AHYHY=AHXHAHYHY=(XA)H(YA)HY=XAYAY=XAY所以X=Y。(证完)若矩阵A是满秩方阵，则A+=A-1.一般研究满足定义中四个方程中部分或全部构成的广义逆，如满足{1}，{1,2}，{1,3}，{1,4}，{1,2,3,4}，分别记为A{1}，A{1,2}，A{1,3}，A{1,4}，A{1,2,3,4}，自然A+=A{1,2,3,4}。A+是最常用的广义逆。一般记：A-=A{1}。定理二：设矩阵A给定，则A+满足如下性质1.rankA+=rankA2.(A+)+=A3.(AH)+=(A+)H,(AT)+=(A+)T4.(AHA)+=A+(AH)+,(AAH)+=(AH)+A+5.A+=(AHA)+AH=AH(AAH)+6.R(A+)=R(AH),N(A+)=N(AH)推论：若ACnmn，则A+=(AHA)-1AH若ACmmn，则A+=AH(AAH)-1矩阵A广义逆A+的等价定义:AA+=PR(A),A+A=PR(A+)。即AA+=PR(A),A+A分别为R(A)和R(A+)上的正交矩阵。更有：AA{1}、A{1}A、AA{2}、A{2}A均为幂等矩阵§6.3广义逆矩阵A+的计算方法满秩分解：设ACrmn，A=BC为满秩分解，即BCrmr，CCrrn，则A+=CH(CCH)-1(BHB)-1BH奇异值分解：设ACrmn，其奇异值分解A=VrΔUrH，Δ=diag(σ1,σ2,⋯,σr)，则A+=UrΔ-1VrH特别，若A为实对称矩阵，则有分解式A=UrΔUrT，Δ=diag(σ1,σ2,⋯,σr)，σi为矩阵A的非零特征值，且A+=UrΔ-1UrT例1：设求A+。解：（方法一）利用满秩分解公式可得101202A11012ABC从而A的伪逆矩阵是HHHHBBBCCCA11)()(21)2121()101101(1011121002110121101101（方法二）先求A的奇异值分解：5152525100010515252518442HAA令：2102120210152511011V21021105251A210021101525110121021A例2：设求A+。解：（方法一）由满秩分解公式可得于是其伪逆矩阵为1122A1112ABCHHHHBBBCCCA11)()(211110121)2121()1111(11112121101（方法二）先求A的奇异值分解：5152525100010515252518442HAA令：2121221152511011V2121105251A21211015